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本 书 是 日 本 岩 波 书店 出 版 的 现代 应 用 数学 丛书 之 一 的 中 属 
2k, FH Shannon fA AN RRA, LBRL, 第 一 、 二 两 
EMRA EREEREER R ERAR BEERA A 
信息 源 ,四 , 32, AAAA RN A REE 
BJE, 最 后 一 章 对 葵 了 连续 的 信息 源 。 本 书 可 供 高 竺 学 校 和 有 
关 专 业 作为 数学 寡 考 怀 , 也 可 供 工程 师 及 研究 人 其 参考 。 
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出 版 说 明 


这 一 套 书 是 根据 日 本 岩 波 书店 出 版 的 “现代 应 用 数学 讲座 " 翻 
Rm. HAJAH JE 15 4$ 6099, 2-0 A BR, KIRATS 30 
在 把 原来 同一 题目 从 成 两 册 或 三 册 的 加 以 合并 , 整理 成 42 36, 不 
另 分 粗粮 号 , 陆 种 翻 主 出 版 。  . 

这 套 书 涉及 的 面 很 广 ,其 内 容 都 和 现代 科举 技术 密切 有 关 , 有 有 
一 定 参 考 价值 。 每 一 本 书 收集 的 剖 料 都 比较 丰 富 , 而 色 述 扼要 ,入 
幅 不 多 ,有 利于 廊 者 以 较 短 时 则 掌握 有 关 学 科 的 主要 内 容 。 虽 然 ， 
这 套 书 的 某 些 观点 不 尽 适合 于 我 国 的 情况 ， 但 其 方法 可 供 参 考 。 
因此 , 翻 滁 出 版 这 一 套 书 ,对 我 国学 术 界 是 有 所 助 从 的 。 

由 于 日 文 原 书 是 1957 年 起 以 讲 雇 形式 陆 粮 出 版 的 ,写作 时 间 
和 籍 幅 的 限制 不 可 以 弗 地 会 影响 原作 者 对 内 容 的 处 理 ， 为 了 尽 可 
能 地 减少 这 种 影响 , 我 们 在 每 一 乔 本 中 , 特 踪 次 者 或 校 央 者 撰写 序 
或 后 了 ,以 介绍 有 关 学 科 的 最 近 发 展 状 观 ,着 对 公 书 内 容 作 一 些 闽 
Tir, 提出 一 些 看 法 , 桔 合 我 国情 况 补充 一 些 疼 料 文献 , 在 文 内 过 于 
简略 或 不 是 的 地 方 添加 了 必要 的 注释 和 改正 原 书 中 存在 的 一 些 错 
认 。 希 望 这 些 工 作 能 对 茂 者 有 所 帮助 。 

承担 恶 尖 和 校 关 的 同志 ,为 提高 书籍 的 质量 付出 了 巨大 劳动 ， 
在 此 特 到 以 识 束 的 澳 意 。 

欢迎 小 者 对 本 书 提出 批 羡 和 意见 。 


上 海 科学 技术 出 版 社 


现代 应 用 数学 丛书 


党 名 原作 省 
数 学 叉 永 昌吉 等 
fj — S" EAN 

变 两 数 DIe 

河田 散文 

析 * 吉 回 耕作 


*» 
& 
T 
Ei 
d 


5 
ZPO 
里 识 变换 与 
AT uU E 
MERREM m i X 
$ OE ntu ex 
COE "ts m od 
BEIM upase 
Rain R JL MR 
H*2758 omms 


XR MO dE EDGE MO e mo 


BACQ E nma 


数值 时 算法 RURE 


FESTE] E 
的 数学 方 uo WAREN 


工程 力学 条 桩 * VOR 


mox 
mau 


RES 
Apa; 


书 名 原作 省 
sMtnchfà 十 m UE 
次 得 Ag cumx- 
平面 弹性 的 * CE 
Tetea, Uk z 

L2 T E: 
» * a RECS 
BERPA a 一 E 
RHNDESRT WE E 
网 着 m Og PRAE 
自动 的 b dA FERE 
Bp dde GS — 


信息 A WERTE de 


dini 


随机 过 程 的 应 用 * 河 田 E A 
新 算 技术 高产 秀 使 
FARNAM # R- 


注 ; 有 * 者 已 在 1963 年 7 AANB 


msn 
BM 


HRA 


D 


t AREENAN 


历史 背景 

信息 是 全 外 
如 何 进行 通 
信息 其 与 类 - 
TUE ERI SEE KR 
ERANLA CEPS pr 
REILE REEE 
BOREMEEE enne 
Markoff 过 程 及 Shannon gg 
PEJ f8 FLOR RS EL RRE 
TARTARI =e 
信息 源 的 宛 长 谋 ， 
ERRERA ……… 
作为 变换 器 的 发 射 机 及 接收 机 的 蕊 
无 噪 普 离散 信道 的 伟 夫 迷 举 和 通信 和 容量 
新 码 基 本 定理 
最 佳宾 依法 - 


VEGEHE ROTE HE oA eon 
关于 通 售 容 量 的 基本 定理 
通信 容量 的 表现 …… 
ge eem gcn eot 
HERG e 
A de PELA. 
非 无 多 余 的 粗 缴 颁 组 ae 
AURRERA Y] Je HERSLERRISRELINOUA. 


122 JERNE 
第 7 章 BARH - 
$23 EIS B AORE RR 
424 MEE aak n AA 
425 SURAE Erant adt 
BOBO 
RER 


Pm 


第 1 章 E ood: 


章 首 先 叙 述 信 息 论 的 历史 与 发 展 过 程 ， 然 后 说 明 信 息 涂 中 
的 信息 、 首 入 等 基本 概念 。 
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人 及 类 和 其 他 动物 的 明显 区 别 是 具有 一 种 本 能 以 外 的 通信 手 
段 。 通 信和 手段 不 限于 声 理 ,还 有 女 字 、 答 画 、 雕 列 、. 印 刷 等 方面 。 其 
他 动物 不 是 没有 通信 手段 , ABO eA DISSI RE DIRE DA) THE 
TES, JURA SUVS (e A DISEASE RIP IRE. 虽然 通信 
技术 如 光 通 信 , 电 通信 已 经 非常 发 达 , 但 是 信息 通信 的 本 质 , 以 及 
妨害 通信 的 品 亚 ,在 概率 玲 的 基础 上 加 以 理 葵 的 探 时 ,还 是 到 了 十 
世 乞 的 中 叶 才 开始 的 。 

自然 ,现在 完善 的 信息 痊 , 是 人 类 多 年 关于 通信 本 质 研究 的 咎 
果 , ERWE, 与 通信 技术 密切 相关 , 它 的 迅速 安 展 则 是 
由 电 遂 借 的 出 现 所 促成 的 中。 举 一个 熟知 的 例子 , 26 个 英文 字母 
中 , 孔 是 出 现 最 频繁 的 字母 ，Morse 电报 就 分 配 它 短 的 码 , 这 样 就 
车 短 了 英文 信息 传 迁 的 在 均 时 间 (但 是 , 妙 的 是 用 Morse 码 对 日 文 
ERR, 就 没有 这 样 的 考虑 ) 。 基 次 , 我 们 回顾 -下 自从 电 通信 发 展 
专 来 借 息 论 的 形成 。 

现在 ,家 庭 用 的 收 香 机 使 用 状 振 幅 调制 @ , 在 1922 年 Bell 电 
话 研 究 所 的 J. R. Oarson 就 指出 , 它 是 具有 一 定 的 频带 宽度 , 并 
且 开 始 明确 了 边 带 的 概念 。 其 后 , 发 明了 现在 长 涂 电 话 使 用 单 边 


O RHAG, PELRO] 对 于 不 热 悉 电 气 通 信 的 洲 者 可 以 略 去 本 节 以 
下 的 内 容 , 不 会 影响 久 后 的 理解 。 


2 mit E h 
ARAA, AT MA, E H TARRO ERROR SOS RORIS 
的 带宽 点 的 不 实用 性 。 此 外 , H8 GRIPE KEER T HEURE 
形 的 统计 研究 ,这 些 都 是 最 早 的 研究 。 

1924 年 H. Nyquist 及 K. Küpfmüller 两 人 独立 地 指出 , 电 
从 信号 的 传 验 党 率 与 信道 带宽 有 上 比例 关系 。 这 种 想法 在 1928 年 
被 R. V. L. Hartley 推广 了 。Hartley 的 想法 也 可 以 说 是 现在 供 
外 答 的 基础 ,他 把 信息 考虑 为 代码 或 是 单 刻 的 序列 ,把 它 所 代表 的 
语义 当做 次 要 的 而 不 于 车 虚 。 于 是 由 S 个 代码 序列 中 选 N 个 三 
部 构成 S* 个 可 能 的 信息 ,他 指出 “信息 量 五 "定义 为 H-N log S 
是 合理 的 。 传 壤 一 定 的 信息 量 时 , 缆 实 及 传输 时 间 的 乘积 为 常数 ， 
WRT HRAR E, MRE, WARAK, TURRIS cR 
1H Hartley Hiit, KAA 1 Ue HERD HERE AE BT, SERE 
的 想法 可 以 襄 进 步 多 了 。 

在 1940 年 , ERREKARI H, 信息 的 传 翰 与 能 量 的 传 

CEU ICREOSTR PIER RERCT. Hartley 信息 量 的 各 种 具体 例子 。 

信息 论 的 进步 发 展 ,是 由 于 各 种 各 样 浙 通信 方式 的 出 现 , 作 
为 道 信 的 本 质 邵 信息 的 传 壤 , 要 求 在 更 广泛 的 基础 上 加 以 研究 , 叉 
因为 统 赴 数学 和 妨碍 通信 的 噪 各 理 其 的 发 展 ， 信 息 渝 只 有 考虑 到 
品 看 及 利用 了 数学 就 着 的 处 理 方法 , PUE HU. 从 社会 环境 
来 说 ,在 第 一 次 大 战 期 间 , 为 了 制造 新 武器 ,动员 了 许多 数学 家 , 物 
理学 家 开展 了 以 电子 学 为 中 心 的 军事 科学 研究 ， 这 也 是 促使 信息 
论 发 展 的 重要 原因 。 


KATREM, V.D. Landon 在 1936 年 及 1941 EA 


LERRO OD. 48 H E foei E28 Ac o P s AS BED A 
faf, 0525 8.6 E4. K. Fränz 在 1940 年 讨论 了 射频 接收 机 的 检 
波 器 问题 ，1943 年 P. A. Mann. 及 1947 4E iR AXE MC TENE 
TAKIR, BEXTRA. 1945 年 及 1948 年 Bell 


S 


8 历史 和 疹 景 3 8 
研究 所 的 S. O. Rice ARII T BENUR ERREN, FEIRES 
JERA UE ADDR R, PE T REMIRAR o 

关于 通信 方式 的 发 展 ， 卫 . H. Armstrong 在 1936 年 最 初 使 
用 了 调频 通信 装置 ， 珊 制 指数 很 大 时 , 带宽 虽然 变 大 , 但 有 抑制 品 
于 的 作用 。 随 着 在 第 二 灾 大 战 时 期 , 豚 冲 技术 的 急速 发 展 , 豚 冲 幅 
itii (PAM) Exp AC ESAE PWM) , Ekipp (PEM) , 及 
MEM PPM) 等 各 种 通信 方式 发 展 起 来 , 其 中 特别 重要 的 是 
AE RR A BI PR ih A aS RE i (POM), TAE 1939 年 ， 
H. Reeves IPARREA, 1948 年 Bell 电话 研究 所 克 
服 了 按 术 上 的 困难 完成 了 制造 。 此 种 脉冲 粮 码 询 制 , 后 来 对 信息 
芥 的 形成 充当 了 重要 角色 。 

在 二 次 大 战 时 期 和 战 后 ， 电 子 肝 算 机 和 各 种 武器 的 自动 控制 
的 连 勃 发 展 , 天 激 了 英 闫 再 国 在 这 方面 的 研究 ,在 僧 息 传输 形式 的 
广 涂 基础 上 ,把 噪 划 也 考虑 在 内 的 研究 才 榨 明了 信息 通 全 的 本 质 。 

1946 年 D. Gabor 及 1940 年 仿 据 ,言论 了 信号 的 长 度 、 频 率 
的 不 确定 性 。 其 后 Szilard, Weiner, Brillouin 等 人 讨论 了 信息 
量 与 热力 学 第 一 定律 的 关系 ， 高 桥 又 时 论 了 信息 哈 与 统计 力学 的 
关系 。 

d Wiener fee EDIE MEREERIN. 把 信 
BORBCHAMÉEGELSURE, VEIHT fa UOE S (I. EXOAEROE 
AIAR ERB o 所 化 的 代价 是 时 间 的 推 壕 , 推 
迟 你 多, 错 讽 概 李 您 小 。 他 还 研究 了 预测 器 , 粉 出 了 比 输 信 信号 时 
一 段 时 间 的 信号 值 具有 均 方 误差 的 预测 器 设计 。 时 间 你 提前 , 错 
BERRAK 

HE EMR ERTER T Wiener Rg, e 
TOfR S MeHOLOy 一 20 Z2 PLINPERCIEUC RR a 9 ER 
HER HK BEKER PREH 十 20 49 PLAUSU, 


4 第 1 章 ko dw 

第 二 坎 引 界 大 战 开 始 时 ， Wiener 与 当时 哈佛 大 学 的 医学 家 
A. Rosenblneth 献 转 把 现代 各 学 科 中 通信 及 自动 控制 的 基本 问题 
粽 合成 一 门 新 的 学 问 ,他 们 在 很 长 一 段 时 期 内 , 同 各 方面 的 学 者 举 
行 了 学 术 计 论 会 , TE 1947 年 命名 为 控制 论 (Oybernetics) 9, 
此 种 气氛 和 刺激 对 于 近代 伪 息 论 的 发 展 有 不 可 否认 的 影响 。 在 这 
种 气氛 中 , 除 Wiener 的 相关 器 及 预测 器 外 ,还 对 信息 量 提出 了 新 
的 定义 ,这 就 是 R. A. Fisher MT fe] ze 3077, RET ARH ANR 
形式 。 

1948 年 Bell 电话 研究 所 的 O. E. Shannon 提出 了 最 完善 的 
ME—MS(8 38/7, BHO Hartley 的 信息 量 在 概率 花 更 广泛 的 基础 
上 加 以 定义 ， 同 时 发 展 了 有 噪音 时 信息 伟 粮 的 理 葵 。 比 他 较 早 一 
些 时 间 ，W. G. Tuller 便装 疮 了 有 唆 各 干扰 的 信道 的 信息 传输 量 
TRE", Shannon 利用 炳 的 形式 , 导入 了 通信 容量 这 一 新 的 重要 
概念 。 由 于 Bhannon 划时代 的 页 献 ， 使 俯 息 欧 很 快 地 形 戊 了 继 
9. 其 后 ， 释 过 许多 学 者 的 努力 , 才 使 这 个 理论 渐 趋 丰 富 与 完善 。 

通常 “通信 理 沦 ”与 “信息 瀹 ”几乎 是 同 义 语 。 重 要 的 区 别 在 于 
后 者 与 控制 论 有 相同 的 含义 ， 而 前 者 是 控制 著 中 与 通信 有 关 的 一 
MÄTE J8—R ixi, KERER, BT (8 S cr RE 


RERA RADERA (8 8 NO DO RRUAUE E, 关于 信息 本 质 的 - 


FFA RR RANAS, ARE ARAN AAA 
物理 学 的 角度 认为 热力 学 、 量 子 力学 也 有 信息 蕉 的 本 质问 题 。 这 
本 小 册子 以 Shannon 的 研究 为 中 心 脱 明 信 息 理论 ,可 以 认为 信息 
本 质 是 最 基本 的 , 由 这 种 角度 写 的 信息 验 专 绅 在 国内 外 还 不 多 。 


$2 信息 是 什么 ? 


“信息 ”information) , AEREI Gm H 2C) Eb) s ge 
观察 事物 的 知识 “通信 ”是 两 人 以 上 互相 变换 信息 或 意志 。 
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. 2 信息 是 什么 ? 5 


不 是 交换 , RAAF. 但 在 定义 信息 量 时 ,信息 ”“ 通 
Té" 的 音义 就 与 通常 的 池 意 不 同 ， 必 须 注意 使 用 了 抽象 化 的 概念 。 
Cala" efe FA bli ACT PUDOR TR S 

TEEÉ— PEdd o ^38 8 A E DEAS I] ec 2e io, 3 DR In] 
的 情感 。 例 如 1956 年 埃及 精 赛 尔 总 税 宜 布 苏 苏 十 运河 国有 化 时 ， 
英法 两 国威 到 挫伤 ,阿拉 伯 渚 国 英 不 称快 。 从 信息 踊 未 说， 对 不 同 . 
的 人 ,由 于 接收 的 意义 不 同 ,不 能 看 做 与 信息 量 有 关 。 供 息 的 接受 
是 把 事情 本 身 、. 时 间 和 内 容 都 拔除 ,使 之 拙 象 化 ,在 各 种 情况 下 , 冉 
题 在 于 代表 不 疗 的 知识 。 从 这 个 角度 看 来 , 在 苏 节 士 运河 国有 化 
阅 题 上 ,重要 的 是 事情 发 生 以 后 苏联 对 中 东 的 影响 ,英国 在 地 中 海 
霸权 的 更 失 , 炳 赛 尔 总 统 的 几 罕 等 事情 发 生 的 可 能 性 。 假定 可 以 
猪 到 纳赛尔 的 盛 赛 ,此 外 没有 其 他 的 可 能 性 , 那 末 苏 铬 士 运 河 的 国 
有 化 就 算 不 得 什么 大 信息 。 若 一 切 的 可 能 性 都 相等 , IURE ARR 
测 国 际 形势 的 变化 ,于 是 这 就 成 为 国际 形势 中 的 一 个 大 借 息 。 

收音 机 中 人 们 喜欢 收听 的 “20 DER O 恰好 适合 信息 量 的 要 
念 。 猜 谜 的 人 提出 20 个 问题 获得 信息 ,来 制 断 就 底 是 什么 。 后 提 
的 立 题 应 和 以 前 提 的 尽量 不 同 ， 井 且 提 的 问题 要 最 大 可 能 地 与 鞭 
底 有 关 , 和 这 样 也 能 有 效 地 利用 这 20 个 信息 所 构成 的 信息 量 。 

不 只 是 “简单 地 有 多 少 个 可 能 性 ”, 而 更 重要 的 是 “这 样 或 那样 
事件 有 多 少 程度 的 可 能 性 "。Hartley 只 是 由 “有 多 少 个 可 能 性 ”这 
一 点 出 发 建立 信息 只, 而 Shannon 理 座 的 出 发 点 是 “这 样 或 那样 
的 事件 有 多 少 程度 的 可 能 性 ”， 这 里 使 用 了 统计 概率 本 ,这 是 近代 
信息 葵 发 展 的 基础 。 

， 信 息 论 最 重要 的 一 点 是 , 当 通 借 文 已 吉 知 道 的 时 候 ,注重 的 不 
在 此 特定 的 通信 文本 身 的 意义 及 内 容 ， 而 是 此 特定 通信 女 以 外 可 


© “20 个 慨 " 是 日 本 民间 流行 的 一 种 钱 逻 形式。 猪 的 人 可 以 向 出 “如 "的 人 提出 
HORE , 故 称 20 Dio HRA RRE RAE 
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能 产生 多 少 种 通 倩 六， 义 各 通信 文 实际 上 有 多 少 出 现 概率 。 WE 
之 ,重要 的 不 是 "我们 进 认 的 事物 ”， 而 是 "我 们 所 能 述说 事物 的 天 
WERL", 

SPIHIRS EE SEA b E, 即 进行 通信 ,不 愉 使 用 自然 落 或 人 人 工 
Fi RIRKA, MARTAS XHA PRLE E 
.的 信息 长 意 大 。 例 如 用 48 4- H ARRES I , 5 EER 
汉字 所 写 的 文章 相 比 较 ， 不 路 苇 和 号， 前 者 因为 字母 少 因 之 很 容 
易 。 反 之 ,后 者 的 信息 量 较 大 。 然 而 夹杂 着 汉字 的 文章 ,汉字 数 以 
Jj BE, 但 天 部 分 的 汉字 出 现 的 可 能 性 不 大 , 如果 限制 使 用 一 部 分 
汉字 , 则 不 慌 很 大 的 劳力 也 能 写 或 靖 。 

在 电报 中 所 用 的 代码 是 --- 种 广义 的 人 工 匡 , 亦 有 相同 的 情 驳 ， 
单位 码 的 种 类 多 的 通信 系统 , 癌 一 时 间 所 和 进 的 信息 比较 多 。 例如 
对 于 乳 站 重大 调 制 , 不 管 其 技术 上 的 难 易 ,用 三 元 码 通信 上 比 用 二 元 
码 通 信 , 在 一 定时 间 内 ,会 进出 更 多 的 信息 。 
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我 们 如 何 进行 信息 通信 呢 ? 例如 我 们 车 远 方 的 人 打 电 报 , 把 
电文 写 在 纸 . 上 交 若 邮电 局 , 电报 员 把 文字 变 成 Morse 电码 电流 
(或 电 健 打字 电码 电流 )， 通过 线路 传 次 出 去 。 在 线路 中 途 有 时 受 
到 品 香 的 干扰 而 产生 错字 , 收 信 局 再 把 电码 电流 箭 成 文字 ,印刷 之 
后 , 运 交 收 信 人 。 

又 如 长 途 电话 ， 打 电 胡 人 的 声 理 元 过 点 质 迁 落 器 变 成 声 理 电 
流 先 到 长 途 电话 局 , 换 成 载波 电流 趣 过 很 长 的 线路 ,到 达 目 的 地 的 
电话 局 ,再 变换 成 声 普 电流, 灵 过 听 电 话 人 的 电话 耳机 把 志 普 电流 
挛 成 声 营 ,再 俏 到 听 电 话 的 人 。 此 种 情况 下 , 在 线路 ,交换机 .中 继 
器 内 可 能 混入 噪 得 。 

信息 论 是 把 以 上 所 迟 各 个 实际 出 现 的 情况 加 以 抽象 化 、 理 想 


i 
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ft, RAA RAIE, E 3. 工 看 出 ,这 个 模型 分 成 
下 列 五 部 分 。 


EEXi EFE dr Xd. EE E 
总 mde L4 

AER 
图 a 

(D 信息 源 (information sourco) FÆRRE EKKI 
ios f BIR, AE BIU SD f EHKI E (message) 。 如 打 电 报 
BARAR E, BE ERRER ERE, 
ARR i ITE rh BE EEA C HR CEPI) RERE 
广播 的 声 压 变化 的 时 间 面 数 、 电 视 中 对 应 的 时 间 及 空间 坐标 的 而 
数 、 黑 自 电视 中 的 二 元 坐标 系 所 表示 的 点 (9.9) 处 光 强 度 的 时 间 
4 的 丽 数 f E, y, Ò, REEM BWAT 

(2) 发 射 机 (transmitter) PA BEREA FERA 
SHHEURA HL Pn Morso 电报 的 情况 , APRE AT 
3 Bo RI e s rb S PERLE IROL AE RRENA T, RA 
MUROS Ee HE EER BU PO JCHORRS SE, BE, ABRAR, 
TE, 电流 等 表示 异 息 的 物理 要 素 间 的 变化 , 不 是 重要 的 事 , 重要 . 
的 是 在 通报 时 能 把 字母 或 电码 序列 变 成 别 的 电码 序列 ， 从 区 种 性 
质 着 腿 , 发 射 机 有 时 亦 称 为 变换 器 。 例 如 在 Morse 电报 情况 下 ， 
字 坪 变换 成 电流 的 技术 问题 ,从 信息 疮 的 立场 看 永 并 不 重要 ,重要 
.的 是 洗 母 序列 的 适当 腿 制 ,例如 不 使 字 组 空 自 速 筑 改 生 两 灵 , 不 使 
igo a Sp GR so RM BUT ERI FS 
TSF DEBERES, 

(8) 信道 (channel) JERS a BES PLN EIEE IN 
MAEI, PAE, FABBEN EN EBE, dob 


ape 
ARE 
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通俗 中 的 光线 等 部 是 媒介 。 从 号 在 信道 传 选 的 中 泛 ， 能 受到 噪音 
的 干扰, 由 发 射 机 发 出 的 信号, 不 一 定 正确 地 传 泛 到 接收 机 。 此 
外 ,信号 一 般 受到 的 失 鞭 ,在 接收 机 中 普通 是 能 够 还 原 的 ,可 是 ,本 
质 上 妨碍 信息 传 逃 的 噪 普 却 与 这 种 类 黄 是 不 同 的 。 

(4) 接收 机 (receiver) ， 是 把 信道 传 进 来 的 信号 与 噪音 的 混 
合 接收 下 来 , 把 原来 的 消息 加 以 还 原 , 它 进 行 和 发射 机 相反 的 操 
作 。 此 时 电码 的 变换 器 的 作用 非常 重要 。 

©) 接收 者 (destination) 即 是 搂 收 消息 的 人 或 物 。 、 

以 上 的 通信 的 模型 ， 不 仅 适用 于 电气 通信 系 克 ， 即 使 象 囊 克 
系 葬 等 等 广义 的 通信 系统 也 是 适用 的 , 屁 们 只 有 形式 上 的 差别 , 根 
本 上 是 相同 的 。 信息 交换 是 由 相对 方向 的 两 个 通信 系统 租 成 ， 各 
个 方向 的 通信 系统 即 是 上 述 的 模型 。 这 模型 对 疯 察 自然 界 也 是 形 
成 一 个 信息 观察 系统 ， 井 用 在 革 种 程度 上 也 适用 于 再会 现象 中 各 
RIESCO fS RR 

ATRE LAEI, BERR I 23-79 U CA SOM ID 
FÜR. HIR CR ch D ME RE D A E CUTE, Morso 
电报 的 点 、 划 信号 是 高 散 的 信号 ,其 传 迁 的 信道 亦 称 为 次 散 的 。 但 
是 电话 的 消息 和 从 号 都 是 如 和 棱 的 , ERRAI, 信道 肖 称 为 NIE 
的 。 但 处 理 的 数量 ， 有 时 同时 有 次 散 的 及 束 杭 的 ， 即 所 谓 训 台 型 
的 ,这 在 数学 上 很 困难 ,实际 上 也 不 重要 。 


a 
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关于 信息 量 的 数学 表达 式 , 根 据 信 息 量 所 应 满足 的 条 件 ,我 们 
自然 地 导出 了 炉 的 形式 ,然后 再 阅 述 炳 的 性 质 。 
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前 章 并 述 了 侦 息 的 本 质 ， 但 信息 量 的 数学 公式 如 何 表示 电 ? 
LURES, 由 信息 源 产生 的 消息 一 般 可 以 用 Markoff 过 程 表 
未, 此 处 只 谈 构 造 最 简单 的 挤 息 源 , 即 消息 完全 不 受过 去 影响 的 信 
息 源 。 + 

为 了 理解 上 的 便利 ， 现 在 用 概率 险 的 滞 普 加 以 表明 。 职 有 
个 不 同事 件 〈 邱 信息 瞪 出 所 彰 消 息 使 用 的 字母 )， 从 中 任 选 一 个 ， 
选择 反复 进行 构成 偶然 事 体 ( 即 信息 源 ) ， 卫 前 一 选择 与 后 一 选择 
无 关 ， 各 事件 出 现 的 酸 闪 为 pi, pa, scs Pr。 此 种 事 体 的 傅 息 量 以 
H (Quis Bos s PÒ RE s OR FRIES 

(i) RER H(p, pos ^» Pa) H Pus Pas …，2 各 自 变量 的 
Mist 

(8) 2p G7, 2, —, 2) 80 LB, H Rao CIN UR 
西数 。 i 

(i) —^A WEPERTZGTEAIISU 1 2E BRIT 2j) 227 RU IALEL Bp RE c 
分 之 后 豆 的 加 权 和 。 

EA Gl) Br DUE 4-12) BER SA EOS pL, 
pim. ERE 4.10) Bf AERA E 的 两 个 事件 中 


的 任 一 个 ,第 二 阶段 分 别 选择 骨 准 为 Z, gew 选择 三 个 事 
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件 的 概率 与 分 两 个 步 刁 无 关 , 各 个 概率 最 后 是 同样 的 ,此 时 希望 下 
siot: 
Be DAG 3) 1G 3) 
加 权 系 数 T 是 由 于 在 第 二 选择 阶段 ,从 时 中 上 腕 ,只 成 一 中 了 。 
满足 上 列 三 个 条 件 的 也 


" % EN ipi 
5 “必然 是 统计 力学 的 炳 的 形式 。 
3 

We. 多 TARR p (=L, 2 n) 
v 都 是 相等 的 情况 ,起 


w w Ah 
mae 000 B(b-i-ae. 
由 条 件 QI) AER TOR AE BO Af EFRR L i s pa 
PEZH o BEEFRERCIGGIUIR IE 4.200) ,于 是 得 出 
AP) maat), 
同样 对 于 与 。 不 同 的 得 
A -840. 
35 BEMAN EIJE TFR a: 
sec cg 
取 对 数 ,以 Blog s 除 它 ,得 
$E. (4.1) 
另 一 方面 ,由 条 件 G), RH 
oA (s) SBA (E) < (a1) 4A(s), 
ERRA 8A (0) 8 
ad i 


a 
HUAG BTE 


BERAU D G6 gale i s WEEER, a, s, t 相当 大 时 , 取 


aw 
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i 充分 大 的 B, 可 得 
4 的 logt 
410. m ig (4.2) 
; 换 萤 之 ,对 于 充分 大 的 B, 我 们 有 
Al) =K logt, (4.3) 
由 条 件 Gi) K 为 正 数 。 


ES 3 
e ln 
图 42 
邻 设 w 个 事件 的 概率 pr, Pos oos Pa 都 是 有 理 数 , mw 为 整数 ， 
则 可 取 
A-—R-. 
LT 


a 3^ 个 事件 以 相等 的 概率 选择 时 ,如 图 4.2 (5) ， 个 事件 的 选 
TEREA Pis Pas ts Pns 在 第 2 MEER RI RT VALORI ITE n 个 事 
件 。 所 以 由 条 件 Gii) 和 前 宇 的 证 明 ,这 个 选择 的 信息 量 为 


K kg Šim=H (pas s pa) +K Sipi 10g m, 
于 是 得 


12 mix KARIA 
Hn, esp) K[ $n log mr ta] 


= -K Šp Jog d = ~K Žin log pe (4.4) 


A PE C) An AE IE p P MERI, BD HET fe fS DC p 
为 无 理 数 时 可 以 用 有 理 数 近似 , 所 以 由 条 件 CO ,对 无 理 数 的 p:， 
(4.4) ARRE WAK 是 任意 的 , 当 单位 的 信 一 都 选 定 就 滴 
定好 了 。 因 此 下 列 定 至 成 立 。 

定理 4.1 满足 O G), (iii) 条 件 的 信息 量 可 用 下 式 且 仅 用 
TRER: 


H (pas =s Pa) = -K2yp 10g ph (4.5) 


其 中 K 为 正 的 常数 。 

这 个 五 与 柿 寻 力学 中 精 的 形式 完全 一 样 。 它 骂 示 信息 源 ( 偶 
然 事 体 ) 中 一 个 字母 事件) 平均 负担 的 信息 量 ,同时 也 是 信息 源 中 
特定 消息 选择 的 自由 度 , 或 是 才 示 议 计 推 扬 的 不 确定 性 。 MURS 
息 齐 中 最 重要 的 表示 式 。 定理 中 , 三 个 条 件 对 以 下 的 理 葵 不 是 必 
要 的 ,但 信息 量 示 示 式 的 合理 性 十 分 重要 。 

与 统计 力学 一 样 ,上 烈 定理 中 的 豆 时 概率 2 pa, p BOIS 
以 下 用 = 事 示 随机 变数 ,而 及 E (n) ORO. 

当 玉 = 并 以 2 为 对 数 底 时 ,在 (4. 太 中 信息 量 的 章 位 时 必 竺 

“(bit) 9, 这 对 于 以 下 所 述 的 继电器 触发 器 等 电子 计算机 所 用 的 

电子 绕 路 的 稳定 动作 状态 的 两 个 位 秆 而 言 , 也 是 适合 的 。 但 是 在 
解 桥 计算 上 取 。 为 底 比较 方便 ,此 时 称 其 单位 为 猎 特 (nat) 。 在 数 
值 硅 算 中 ,采用 常用 对 数 ,这 时 单位 称 为 十 进位 单位 。 售 后 阁 不 需 


O J. W. Tukey 建 阶 , 为 了 使 数学 上 的 二 进位 数 与 信息 量 的 单位 必 特 相 区 异 ， 
单位 用 属 尼 特 (binit) t), 


uA 
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AEDU, UPEHE REIS AST DUM OA RUM 
全/ 或者 不 标明 单位 
在 实际 应 用 .上 , 对 数 以 2 为 底 非 常 便利 。 当 p, 727^ (61,2, 
t, Hon 2") ihr, ERU RE 


五 = 一 2 log, 2” =m GM). (4.8) 
取 对 数 底 为 2 时 ,在 “是 " Eg "as" Zo MH E — 1 TER D f 


息 基 础 上 的 借 息 量 ， 二 者 第 1 良 第 2 有 
之 一 选 一 个 , EUR m m M 
Br fede "个 中 指定 出 ü 
一 个 。“ 是 "与 “ 否 ”" 叉 可 对 i ; 


DF m HE a GR S EE i : 

接点 ,根据 继电器 的 束 接 ， i E 
可 以 指定 一 个 状态 (图 4.3 ER n 
dORa-P-4Mp). m 

起 这 里 各 段 的 继电器 负担 

着 一 个 信息 ,全 体 共 症 倍 。 图 4.8 


各 接点 的 上 位 置 表 未 0， 下 位 置 表 示 1,m EE BER BOR HNE 
m AERE HO BSEC, 并 能 在 0 到 2" — 136 2" ^ EP PE EG - 
某 一 端子 (图 4.8 中 2 段 接点 的 位 置 夫 示 二 进位 数 的 10, 宅 在 十 进 
位 数 中 即 是 2, 图 中 标 码 为 “2” 的 端子 印记 指定 的 端子 ) 。 因 为 它 
全 都 是 租 同 的 , 故 由 2" 个 中 选取 一 个 的 价 息 量 叶 mn 必 特 的 全息 。 

在 信息 葵 中 ,关于 单位 的 选择 很 重要 ， 印 在 单位 时 间 内 ,偶然 
事 体 选 择 的 欢 数 周 题 。 现在 假定 每 次 选择 的 继 迷 时 间 不 同 , 没 在 
单位 时 间 内 斑 均 发 生 的 次 数 为 v, MA y RADO (AK =l, 
其 单位 取 必 特 ) ,得 一 新 的 单位 “ 必 特 / 秒 ”, 写 成 

五 =YH。( 必 特 / 秒 ) @ (4.7) 
此 处 诛 书 为" 用 这 了 除 (4 或 ?; IUIS H /y".— FOE 


14 3x d A Ox 


这 个 量 称 为 偶然 事 体 反复 选择 时 在 单位 时 并 内 的 信息 量 ， 它 具有 
惑 态 的 概念 ,与 (4.5) 不 含 时 疝 的 静态 概念 不 同 , (4.5) 式 的 单位 简 
单 地 只 写 “ 必 特 ”, 以 后 所 议 的 事 体 ,除了 信息 源 的 字 卫 选择 以 外 ， 
叉 着 虑 到 信道 上 构成 信号 的 代 颂 , 不 管 是 字母 或 是 代码 ,为 了 清 乱 
起 见 ， 常 写成 " 必 特 /生母 "或 " 必 特 /代码 "@。 但 它们 没有 时 间 松 
念 ,必须 与 (4.7) 的 单位 有 严格 的 区 别 。 


85 痪 散 随机 变 数 的 滴 的 性 质 


假定 高 散 随机 变数 雄 过 一 段 时 间 后 取 测 % 个 不 同 的 互相 独立 
fof, RICH $ 4 所 述 为 


H~- $ip loga pi QE. (5.3) 
本 蔬 将 对 多 个 随机 杰 数 推广 HAIE, AROM EES 
(i) 变数 为 两 个 时 ， 
H=~—{plogsp+ (1—p)logs(1—p)} QU), (5.2) 
这 各 图 5.1 Hio. 


(8). 24 p. DOR — ^ EUR 1, AR pi AER, (5. 力 的 
MH 才 取 什 为 0， 即 只 有 一 个 事 体 玻 唤 定 时 H 等 于 0, 除 此 以 外 
H MAEI | 

GD MAA p Mi En, 及 达到 最 大 值 logsn， 物 理 意 
义 为 相当 于 最 不 确定 的 情况 。 

v) 融 有 两 个 离散 的 随机 变数 t y, BERLINS e 
取 ? 个 相 异 的 值 ,y 取 m 个 相 异 的 什 , 徙 此 不 -一定 独 立 。 两 个 变数 
2 Joy Bo i T j Ios p, D, ik» RTI RE 

O ELUR, MARERE BAEAN, EM AREE”, 


AREA Of k RRR, PA k BRZ, WERE "M / CORPS 
O ATHETA METHATI T 


和 


0666332 
55 Riam 707070707 700 


H— plogap- (i pMogz(1—p) 


BY HO V US 
Hap--REEp6 pepi),  —— 0.5 
另 一 方面 ,= Jy BAET ALIE (6.1) 的 形式 ,用 联合 分 布 
i p, j) dear Run 
HG) e - 3 Pip Gs eg Sin Gs ) ] 
HD) =- EG Die Soc, 5. 
A PAESI RAAR FRU 
Hm, g) «H(z) -H(p. (5.5) 
Po 8 y DEBOR M ps D =PO p MS Aa 
OO 概率 Pi Pas …， Pn 向 着 彼此 相等 的 趋势 变化 时 , 炳 五 逐 
Wise, Pán, pipe Wr E po HK, pa RP LFU [ps — pa] 比 以 前 
ITEL AKo AAD, HAE Pas pos …， pa BPO olg 
Ex LE 


(5.4) 


pXxasp,.—1,.2,-,0), 
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H Day= ganl 及 2470, 
在 这 种 变换 下 , BRCT REAA Uey H RRAK), 
JH UR. 


芝 与 统计 力学 的 五 SERIES IAUXE A Ktk RU JB S, RUE. 
By) b. 43-8) FN Has E ME RE p HR Fd ; 
(vi) 以 下 定义 两 个 随机 变数 的 精 。 改 ”及 Y 为 两 个 栈 机 变 
325 2 Xf a mt, y 取 值 ; ooh p C). Bl oo dde 
个 值 对 应 的 gy 的 靖 , 邹 各 什 的 概率 的 加 权 于 均 , 可 得 出 对 应 于 
M y 的 条 件 病 。 即 
Hy) ~ 3 P Sip) log p, (5.6) 
其 中 Pi c flr é o, COOL 2 Ie y 的 平均 不 确定 性 。 
feni REOR T: 
n r5 , | 
Peda 5. 
利用 上 式 , (5.6) 式 可 改写 为 
HG) 7 -$ Dlog pG, D +P, Die S pë, D 
. 7H6,9-HG), 
或 写成 
His, y) - HG) - HG). (5.7) 
(vii) 由 (6. 本 及 (5.7) 式 得 出 
Hà) HG) >H (æ, y) =H (0) -Ha(), 
En] * 
H (y) >H:(y). (5.8) 
比 式 院 明 当 2 为 已 知 时 ,的 不 确定 性 不 会 培 大 。 堪 2 y 是 相 
互 独立 的 ,出 上 式 等 号 成 立 。 
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$ 6 AED ERRE 


RU EUSEQEE 2S DATUR, ER DR B ARTE i B. E SCORES SERRE I 
Sac E Le chr hl, my puoi $ 6 离散 的 变数 同样 地 定义 出 来 。 

随机 变数 的 概率 密度 为 p (o) 时 ,其 炳 的 定义 即 是 Y RC 
SUIS (4.0): 


——[ p10g pde, (6. 


妆 对 数 底 为 2 时 , H 的 单位 为 必 特 。 
设 % 个 随机 变数 的 联合 分 布 概 座 密 度 为 p(t1, za n. m) , 其 
KARMARKAR A 


H=- |-| plaren n og pnis n) dnd, (0.2 
在 两 个 变数 «及 y 的 特殊 情况 下 ,其 联 合 病 和 条 件 病名 为 > 
Hæ, y) =-||p, siop, ded, — (0) 


Hs) — ff ple, rg Ph dedy, — (9.0 


四 = 一 pey) 
Ho =f] plo, v) 10g PEL dedy, (6.5) 
deb 
pi) =f p Day, pW) =fpe de. 6.6) 


世上 于 个 式 子 中 的 2e y MERER o He (6.2) 式 中 同样 
可 看 做 % 个 变数 的 联 全 分布 概率 密度 。 即 2 及 y kR RE 
时 (6.8) 至 (8.6) 式 都 能 从 一 元 情况 
推广 到 多 元 情 交 。 此 时 下 还 的 炳 的 性质 与 5 的 情况 大 部 分 是 相 
同 的 *。 


* 证明 不 困难 ,镇 者 可 以 自己 练习 - -下 。 
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(i) Bot Euclid 空间 中 体积 为 亚 的 子 空间 内 变动 , 当 
pa) 在 此 空间 内 等 于 常数 喜 nb, H (e) 达到 最 大 值 og V. 

Gi) Hs, W Hé) HG), (9. 
AAS e b y 相互 独立 时 ,等 号 成 立 。 

GD PERAJE p(o) 施 以 加 权 平 均 叶 , 得 


9 (y) =| am, sop Gd, 
但 [sedem al, Wdy-1, at, 0. 


WREE p (9) RE REAR p (2). Br. 
v) H(e, y) =H (2) +H. (y) =H (y) - HG) 
及 


Hy) SHY). (6.8) 
(v) 当 联 合 分 布 概 率 密度 p(w1, va, is ms) 的 二 阶 短 
| DL p(B, y La) dey dEn (6.9) 


固定 之 后 ， 达到 最 大 炳 的 是 具有 7 条 正 术 分 布 的 二 阶 短 A 其 松 
这 密度 为 

B, Cay m) =N d exp (-3 Xena), (6.10) 
其 中 Ay 是 矩阵 (01) F3 XB BR IRI, a | KIRE (ew) 的 行列 式 。 
这 个 最 大 炳 等 于 

吾 -log(are)sloo| 3, (6.11) 

ASI 354 n1 时 情况 比 蜀 简 单 , EMARE. PE e boki 
准 偶 差 为 一 常数 "， 则 最 大 炳 的 概率 分 布 密 雇 (5) AYERS ZR 
发 征明 这 一 点 , 即 求 在 下 列 狗 东 条 件 下 ， 

o3- f a plade, 


(6.12) 
[ptas 1, 


M. a 
850749) 
$6 AORA PU EERIE 19 
BETAYI: 
H (0) = — Í p'a) 1og p(o)da (6.19) 
达到 最 大 。 根 据 变 分 法 , 亦 就 是 使 
fi-p(a)log pa) ei pia) eupenlds (6.14) 
达到 最 大, 式 中 Ay s 为 待定 乘 数 。 为 了 上 式 达 到 最 大 ,要 求 


—1-log p(s) 二 Xe2 十 4 一 0， ' (6.15) 
再 由 鹊 束 条 件 决 定 和 A p, 芋 果 得 出 
p) = exp Coat), (6.16) 
此 时 炳 为 
H (a) —-logs/2ae-o, (6.17) 
(vi) BE aO M, pœ) =0, HE 
a= n p(w) de (6.18) 
25 — MIRA TE , UHR OK tr BERE e Be 
pla) =+ oxp(- e/o), (6.19) 
让 个 最 大 炳 为 
H(g) -logea, (6.20) 


(V1) AEREAS S RODER ER, 
ERRAT SPERREN MARET, HTE 
的 情况 , OPERERE E E. tui AZEM, 因为 坐标 采 不 同 。 
BUARI s o, cs 对 应 的 炳 为 HQ) , ROTER gis es 
IA 
HW =H (o) — fif ps nog 7 (Z) tmd, 6.20 


3ub J (7) 为 坐标 变换 的 Jacobi IFAR. BEZ, KHTI 


zo 第 3 章 dm iW 
"E Y) E Aj fe UI DE dz, de, 均等 加 权 相 均 所 表示 的 无 规则 性 的 
Biko 

因此 , EADE UAE A RRRA E T A fd , 这 有 不 方便 之 
处 。 但 以 后 将 证 明 做 构 速 率 及 通信 容量 两 个 重要 概念 ， 可 以 定 
URNA E, ARAARA R ERREEN Hi 
MARRS UPEGESUE SU, HRUN, ERRAR, 有 时 为 负 ， 


48 SOR EHE 2 ERRERA. 
(vii) 考虑 坐标 变换 是 线性 变换 
u= $i ayn (6.22) 
的 特殊 悄 吏 。 这 时 ， Jacobi 行列 式 为 [au | 的 倒数 ,于 是 
H (y) = 五 (o) log! ay]. (6.28) 


在 坐标 系 旋 簿 的 情况 下 (或 保 测 交换 ), J=1, 则 五 (y) =H (2). 
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本 章 先 并 述 在 供 息 源 及 偿 道 的 数学 表示 上 起 本 质 作 用 的 
Markof 过 程 , 特 基 是 授 历 过 程 的 数学 预备 知识 。 然 后 叙述 作为 随 
机 过 程 的 以 息 源 的 特点 ， 表 示众 息 源 所 具有 的 信息 量 及 信息 的 元 
EEY DR AR mE, 
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TEIR BRIBOR , BIDLER RA RETK PLD , PEJ M 
e OBRA T, 

AER c, 表示 一 个 受 概率 法 则 支配 的 事物 在 6 时 剂 实现 的 事 
件 。 这 样 以 时 间 为 参数 的 随机 变数 集合 (m) BS, mos ay oa on 
所 成 的 序列 叫做 随机 过 程 (Stochastic process) 。 在 古典 概 牵 渝中 ， 
THE 上 考虑 为 有 限 个 白 然 数值 , 我 们 这 里 2 是 无 限 个 自然 数 或 取 
WA. 随机 过 程 的 样本 印 实 现 ( 或 事件 ) 的 序列 , 特别 称 为 时 间 
序列 (time series) 。 

由 信息 源 发 生 的 消息 中 的 字母 或 信道 中 传 坟 的 电 从 号 的 波形 
县 有 非 离散 的 连结 振幅 , 它们 也 可 看 微 随机 过 程 。 即 vd 
信息 源 发 生 的 消息 在 时 间 # 用 字母 所 实现 因 来 的 事件 , 也 可 以 是 
电压 振幅 值 的 数量 。 

随机 过 程 (e) 的 现在 事件 o, 如 果 只 与 从 现在 向 后 退 # 个 时 
唱 的 事件 有 关 , 而 与 再 以 上 的 事件 无 关 , 划 称 这 随机 过 程 为 n E 
Markoff 过 程 。 特 别 简 单 的 1 重 Markoff 过 程 , DA An 
Markoff 过 程 。 

在 ? 重 Markoff REEHIGUT , "TH n MEAE i= (zh mas ns 


- 
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Brena) 代 杰 一 个 随机 变数 m， 而 对 于 新 的 矢量 随机 过 程 (6) ,只 
要 知道 前 一 时 刻 的 事件 oss EGET AREIS IER T TE 
标 是 Ce-a, 其 他 的 坐标 都 号 2, 内 的 华 标 相同 ,所 以 相继 的 %+1 个 
事件 都 可 知道 。 这 样 , 使 用 矢量 随机 变数 就 可 把 %h 重 Markoff 过 
程 归 千 为 单纯 Markoff 过 程 。 因此 ，Markoff 过 程 一 般 是 指 单纯 
的 Markoff Him A o 

当 随 机 变数 只 取 有 限 个 离散 值 时 ，?# E Markoff 过 程 可 以 用 
缕 图 表示 ,这 样 的 线 图 用 来 表示 信息 源 或 角道 是 很 方便 的 。 

现在 用 楼 图 券 不 有 重 Markof WREKE, 这 
过 程 的 各 个 随机 变数 c, 能 取 六 ER Du, D, o, Ly 中 的 一 个 
PPE URE r, 001. y iD ELA INI FILAS, 这些 矢量 
都 称 为 信息 源 的 状态 。 ATERIA (0 , fiis RAPLE 
(&) 所 取 的 事件 相当 。 矢量 具有 什么 样 的 坐标 组 合 是 由 信息 源 的 
固有 性 质 决定 的 。 这 些 状态 之 闻 ， 洲 用 方向 线束 类, 信息 源 由 一 个 
状态 迁移 到 另 一 个 状态 有 时， 其 过 辕 线 所 对 应 的 预定 的 字母 可 考虑 
作 信 息 源 的 发 生 处 。 印 由 任 一 状态 (Dus Lus o. Dus) 迁移 到 其 
他 状态 至 多 有 ?个 可 能 性 , 务 (Ln, Dosen, Dna y D), XR k=l, 
2,-, N, 于 是 这 个 状态 变动 一 次 , 其 相应 的 信息 源 使 出 现 各 个 
字母 Ls。 例如 图 7.1 的 (a), (58) 及 (0) BRR VEA 5 BE IG E e 
Markoff 过 程 、2 EA 8 重 Markoff 过 程 的 线 图 ; Bl (d) 表示 三 个 
学 母 的 单间 Markoff 过 程 的 线 图 , 图 (e) 则 是 四 个 字母 的 单 葬 
Markoff 过 程 的 米 图 。 

单 是 线 图 没有 多 大 意义 ,在 此 种 表示 信息 源 的 炎 图 中 ,由 性 一 
状态 .党 着 方向 厂 迁 移 到 另 一 状态 E, BEEBE, AAR 
要 意义 。 这 楼 图 中 , 一 切 方向 各 有 关 的 迁移 效率 与 信息 源 任 意 开 
始 状 态 的 初期 光 率 分 布 完 双规 定 了 Markoff 过 程 。 特 别 , Jr fri 
的 迁移 几 牵 为 零 时 很 重要 。 就 象 图 7.1 IHRER, 形式 上 虽然 画 着 


y 
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图 7.1 


(a) RM Markoff 过程 (和 ,BB 两 个 字母 ); (©) 2 Markoff 过 

程 (A, B 两 个 字母 ); (e) 3 Æ Markoff SERE (A, B 两 个 字母 ) ; 

(四 3 重 Markoff 过 程 (A,B, C 三 个 字母 ); 0e) n 
Markoff 3f (A, B, O, D pa^ ERO 


Zr ELM RA A, h VL BESE ER. EA TEE. 

T b E— Jis Ren] DGASHEfI3ERGR S, 这 种 Markoff id 
Rk Markoff 313879, 如 盯 从 茶 一 状态 E, HERE, SCIRE] E, 
的 概率 为 了， 即 一 定 能 返回 原来 的 状态 时 ,这 种 状态 E, 叫 回 归 状 
O (recurent state) 。 反 之 ,车 概率 小 于 工 , 邹 不 一 定 能 回 测 原 来 


各 ”如 果 回 到 原 求 状态 所 需 理 的 沿 方向 粮 迁 移 的 平均 次 数 为 无 限时 , 这 种 回归 状 
态 称 为 雾 状态 (null state) 。 办 为 状态 个 数 为 有 限时 .上述 情况 不 会 发 生 , BOR SPUR. 
不 考 贸 这 种 情况 。 


B add 


m fs 离 航 的 信息 源 


的 状态 , 这 种 状态 就 叫 过 渡 状 态 (transient state) 。 双 E, BUS t, 
21, 8t, … (t 为 具有 各 此 性 质 的 迁移 次 数 的 域 大 整数 , 它 大 于 了 仍 
返回 状态 E, Db, 剧 这 种 状态 虹 恩 期 状态 (periodio state), K 
PRE, 也 不 是 周期 状态 的 回归 状态 特别 叶 做 副 历 状态 (ergodio 
state) 。 例 如 图 7.1(b) ,由 状态 (AB) 沿 著 字母 了 的 方向 条 到 状态 
(BB) 的 迁移 概 术 为 零 , 沿 其 他 方向 可 的 迁移 概率 为 正 。 于 是 一 旦 
由 状态 (BB) 迁移 到 状态 (BA) , 便 不 再 应 到 状态 (BB) 了 ,这 个 状态 
(BB) 就 时 寺 渡 状态 , 此 外 , 其 他 三 个 状态 一 定 回 到 原来 状态 时 叫 
回 时 状态 , 下 显然 是 非 周期 性 的 ,故此 三 状态 称 为 逼 历 状态 。 双 当 
状态 (4B) , (BA) 间 两 个 方向 乾 及 状态 (AA), (BB) Vestra ee 
的 迁移 概率 是 零 时 ,其 余 的 方向 缉 都 变 成 了 周期 状态 。 
有 限 个 状态 的 眠 办 Markoff BERE, 是 由 一 切 的 周期 性 的 或 一 
切 的 非 周期 性 的 回归 状态 所 和 组 成 。 因此 , 一 个 不 是 周期 性 的 状态 
便 是 副 历 状态 。 候 一 状态 由 E; iie, Ra AERIS SE Ex 的 迁 
移 概 李 为 史 "( 份 ， 旭 存在 一 个 满足 关 采 式 
lim pP (4) uw 70 (7.1) 
的 wu， 此 值 与 j 无 关 。 即 在 某 一 时 麟 后 ,状态 Ex BR EA 


iE, 达到 概率 上 的 平衡 。 发 状态 ;一 次 迁移 到 状态 上 的 迁移 
概率 为 p k), AA ta 对 一 可 状态 的 和 为 


Xuw-1 (7.2) 
具有 上 列 性 质 的 概率 分 布 满足 以 下 的 公式 : 
uZwpG. : (7.8) 


上 式 右 映 对 一 切 j 取 和 。 这 种 如 称 为 平稳 过 程 GUN) 概率 。 当 
ISTIS XE EEREAE p, (1 都 已 知 时 , 概 达 分 布 央 便 直人 .四 及 (7.3) 
两 式 唯一 决定 。 

下 面 的 信息 歼 内 限于 考 处 温 历 的 Markoff Hi, MBOR A 


Y 
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(Ds, La, …， ) 作 为 信息 源 , 过 去 发 生 的 字母 序列 Da, La, …， La 
由 上 站 粮 图 可 以 清楚 地 省 出 ， 由 此 状态 到 下 一 个 状态 发 生字 母 Le 
的 迁移 概率 , 邹 此 信息 源 在 过 去 发 生 序列 La, Ta, os Ia 的 条 件 
下 ,接着 发 生 Lr 的 条 件 概率 为 Prota Da). 就 是 褒 , 当 已 知 一 通 历 
的 信息 源 的 字母 间 的 条 件 概率 Pr, (La) Br, 表示 此 信息 源 的 钱 
图 的 状态 并 的 迁移 概率 就 税 确 定 了 , 序 由 (7.2) ，(7.3) 两 式 , 可 求 
出 各 个 状态 间 的 概率 。 信 息 源 在 状态 (La, Do, …, 五 ) 的 在 稳 过 程 
概 素 不 过 是 在 此 信息 源 发 生字 母 序列 Li, Lys o, Da 的 联合 分 布 
ie PO, Ly L). 

为 了 表 东 信息 源 的 随机 进程 性 质 , Shannon BIA TAERE 
图 表 孙 法 ,实际 上 很 往 便 。 即 在 上 迟 表 示 中 ,由 一 个 状态 到 另 一 个 
状态 的 方向 稳 最 多 只 有 一 条 ,在 概率 的 意义 下 , 几 个 同一 的 状态 可 
并 在 一 起 , 即 两 个 状态 闭 不 论 有 多 少 方向 线 , 总 可 以 联 在 一 起 。 这 
种 表示 方法 比 前 述 的 表示 信息 源 的 Markoff 过 程 性 质 的 方法 简 
W, 测 后 同样 正确 , 以 后 在 定义 信息 源 的 精 那 样 重 要 的 量 时 , 与 未 
简化 的 楼 图 有 相同 的 值 , 这 是 很 有 利 的 。 

上 述 的 克 图 中 把 两 个 状态 统一 起 来 ， 先 对 所 讨论 的 问题 中 两 
个 状态 看 一 下 进入 各 状态 的 方向 缕 ， 由 一 状态 发 出 的 方向 矿 进 入 
另 一 状态 (问题 中 两 个 状态 局 禅 看待 ), 在 原来 的 亚 一 状态 必 有 方 
WAZA 其 次 看 问题 中 由 两 个 状态 所 发 出 的 辜 路 ,由 一 个 状态 
发 出 的 方向 厂 到 达 另 一 个 状态 (问题 不 只 是 两 个 状态 ,而 且 把 两 个 
状态 分 别 同 祥 看待 ) , 另 一 状态 发 出 同一 迁移 概率 的 方向 厂 。 若 有 
以 上 两 个 性 质 ,这 两 状态 便 硅 一 为 一 个 状态 , 双 当 进入 两 个 状态 的 
方向 艇 一 般 说 由 不 同 的 字母 发 生 ,车 纹 一 为 一 个 状态 时 ,由 另外 的 
状态 可 画 两 条 方向 厂 , 且 各 条 方向 厂 是 由 不 同 的 字 坪 所 发 生 。 


例如 现在 来 看 由 点 、 划 、 字母 出 隔 、 单 吓 厅 隔 四 个 字 入 棚 成 的 , 且 字 母 并 
胎 与 单 医 间隔 以 及 字母 湖 贤 本 身 及 单 话 间 取 本 上身 不 能 相继 出 现 两 次 以 上 的 


WW 
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单纯 Markoff 过 程 Morse 码 所 作 的 钱财 。 图 7,1(e) 的 4, B, C, D 各 表示 
点 、 划 \ 字 釜 间 隔 以 及 单 荞 间隔。 内 为 单 语 间 隔 、 闻 每 央 隔 分 别 不 能 出 瑰 两 次 
以 上 ,所 以 除去 状态 (C) y (D) 这 一 粗 ,又 因为 两 者 不 能 相继 出 现 、 所 以 省 乔 图 
中 (C0),《D) 了 天 两 条 方向 线 , 奕 成 图 7.2(q) 的 样子 。 此 外 ,由 状态 (人 A),(B) 嵌 发 ， 
ERUF EEEE ARARIPE Z E EEEH AD ps da r, SER, CA) 除了 
向 状态 (B)，(C) , (D) DAR, 16] CA) ze Bei A Hz e pio, (B) 也 是 向 (A), (B), 
(C), (MEMBA, HAHA A), (B) HRERS CA) , B), (0, 
D), 而且 有 根 同 的 迁移 构 率 ， 所 以 可 把 (A), (B) HERRA -DRE 
同样 由 (C) , OD) PAZCHS jx REER a 和 b, TALT EU UK, EUR. 
变 成 了 图 7.2(b) BSRRER. 


B 7.2 


在 特 你 情况 下 ， 如 果 信息 源 过 去 发 生 的 字母 与 以 下 发 生 的 字 
PREMI, 旭 状 态 的 个 数 只 有 一 个 。 邹 如 
HB 7.8 BER. . 
AREMA Fe E E S Ro f Rs Usa 
FREI Shannon f&fH, REER VE 
Tc SERT ,. RRR UU HE e RED 
方法 有 所 限制 。 
以后 所 述 的 推广 的 Shannon 粹 图 中 庆 算 各 状态 的 平稳 过 程 


48 (Xf Bn ARRS aT 
Bis v, Ir, ihid j 到 上 有 o ACE TI JEOERENORAROS pih, 
V p, 0,2) y, pi 6,8) JU T8) X ria p E) EEUU e py Ck, t) 
再 进行 计算 。 
$8 作为 信息 源 的 自然 本 


AREZ rh , É ARA T REA PU HER ELE ENSE EEA FERE 
BARM S RRR HEEL SE BLUE 

令 举 英文 的 普通 文章 为 例 。 字母 序列 要 在 文法 上 正确 , BA 
意义 ,在 这 样 的 文章 中 ,各 字母 出 现 的 频率 是 不 会 一 臻 的。 不 只 是 
英文 ,任何 自然 落 都 有 相当 明显 的 这 种 倾向 。. 虽然 由 于 文章 的 性 
ERR, 例如 政治 评论 和 少 说 ， 多 少 有 些 差 异 , 但 大 体 是 一 样 的 。 
英文 26 A RE LIARS MIJE 27 个 字母 , 其 出 现 频 率直 调查 后 . 
Aux 8.1 Bios, » 

但 是 反 过 来 ，26 个 字 健 及 单 应 间隔 所 成 的 27 个 字母 依 昭示 
8.1 的 频 这 无 次 序 地 排列 ,得 到 (英文 的 第 一 次 近 仆 ) : 
. OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI 
ALHE NHTTPA OOBTTVA NAH BRL 

这 是 用 英文 26 个 字母 拼 成 的 象 英文 但 实际 上 不 是 英文 的 排 
到 ,因为 没有 意义 。 英 文 是 有 意义 的 ,由 于 字母 的 排列 方法 而 使 之 
有 意义 这 件 事 很 重要 。 例 如 字母 @ 接 下 去 是 U, 字母 卫 接 下 去 是 
D, 字母 了 接 下 去 是 H 的 概 府 较 大 。 自 然 话 是 有 意义 的 字母 排 
30, 因此 避 前 册 现 过 什么 样 的 字母 排列 是 十 分 重要 的 事 , 前 节 所 
R, 车 不 考虑 过 去 若干 个 (n 个 ) 字母 决定 以 下 出 现 字母 的 条 件 概 
率 , 就 不 能 掌握 自然 严 的 特点 。 于 是 % 意 大 ,人 能 正确 地 预测 自然 
衡 的 概率 性 质 。 先 考虑 n1 的 情况 ， 即 考虑 前 一 个 字母 , 用 前 节 
的 讲法 印 以 单 厚 Markoff 对 程 来 看 。 如 果 已 经 调查 请 将 文章 中 出 
BU BE € b, ICH BUSHRE j HIA PEERS pC) IRER T 
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zx: 8.1 

gq 第 m g 

* m Sn — xx v 
mu | 0.1817 16 M 0.02076 
E 0.1078 16 U 0.02010 
T 0.0856 17 a 0.01638 
A 0.0068 18 x 0.01028 
.0 0.0054 19 P 0.01628 
N 0.0581 20 w 0.01900 
R 0.0569 FH B 0.01179 
I 0.0519 22 v 0.00752 
8 0.0499 28 K 0.00344 
H 0.04305 2 x 0.00138 
m 0.08100. 25 H 0.00108 
L 0.02775 26 Q 0.00099 
F 0.02895 a Z 0.00068 
o 0.02260 


EJB A Heli EUG ZF EDA T A FE GR Lx t REGE 
* gne: 
ON IE ANTSQUTINYS ARE T INCTORE ST.BE S DEAMY 
ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN 
ANDY TOBE SEACE CTISBE 


AK n2 时 , 即将 2 重 Markoff 过程 的 字母 随意 地 排列 成 
《第 三 次 字母 近似 ) : 

IN NO IST LAT WHEY CRA TICT FROURE BIRS GROCID 
PONDENOME OF DEMONSTURES OFTHE REPTAGIN I8 REGO 
ACTIÓNA OF CRE 


O TEHTED ER— MANR, JEU APEESTOE EREKE, RE 
TESTE TC, BICIS Us WANHAU REN, 再 写 下 此 字母 下 面 一 个 字母 。 然 
RERI FRNT R, KAPNE, ETUR IR — AME, toi 
继 纺 下 去 ,名 得 第 2 次 字 件 近似 。 

县 下 高 次 近似 也 必 同 法 处 理 。 
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AEREE ARR e LU BLA ARE Om PABICLUE A E (086 — 2 
水 近似 ) : 

REPRESENTING AND SPEEDILY IS AN GOOD APT OR 
COME CAN DIFFERENT NATURAL HERE HE THE A JN 
CAME THE TO OF TO EXPERT GRAY COME TO FURNISHES 
THE LINE MESSAGE HAD BE THESE 

老 考 虑 前 一 单 请 时 OB CXOREBEUD : 

THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH 
WRITER THAT THE CHARACTER OF THIS POINT IS THERE- 
FORE ANOTHER METIIOD FOR THE LETTERS THAT THE TIME 
OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED 

ext Lake M BR. BRSKAL T, 但 在 
BTA , PR Sie REPE Z0 24 4025 HET S88 E B UU Ae Sg RI 
序列 就 不 常 出 现在 普通 的 文章 中 。 又 在 第 二 次 单 吐 近 似 中 , 大 部 
分 象 英文 的 样子 ,但 四 个 左右 的 单 韶 序列 就 越 出 正 由 ;有 意义 的 文 
章 就 不 多 了 。 但 车 考虑 了 Markoff 过 程 中 边 长 的 过 去 事件 , 离散 
的 信息 源 可 以 很 正确 地 表示 出 来 。 

已 知 字母 的 迁移 概率 时 ,用 Shannon 赦 图 的 天 东方 法 忆 在 前 
节 中 讲 过 ,此 处 假定 已 知 章 族 的 冰 府 分 布 ,而 用 例子 说 明 Shannon 
RA. BA A, B, 0, D, 也 五 个 字母 租 成 16 个 单 语 的 日 频 李 分 
布 如 下 的 信息 汰 : 


这 些 单 主 可 按 这 样 的 频率 随机 地 写成 如 下 的 文章 : 
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DAB EE A BERE DEED DEB ADEE ADEE EE DEB BEBE BEBE 
BEBE ADEE BED DEED DEED CERD ADEE A DEED DEED BEBE 
CABED BEBE BED DAB DEED ADEB 

此 种 信息 源 以 方向 线 者 示 的 对 应 于 各 字母 的 Shannon fip 
就 象 图 8.1 所 示 , 其 中 5S 表示 间隔 。 


7 


8 si 


$9 f& mid 


对 于 信息 源 的 消息 ,六 过 去 发 生 的 字母 是 独立 的 字母 库 列 , 那 
XH 7.8 表示 的 信息 源 的 炳 已 在 $4 内 定义 过 。 均 里 我 们 将 定义 
Markoff 过 程 表示 的 消息 的 信息 源 的 炳 。 

在 $7 中 所 述 全息 源 只 是 由 有 限 个 通 历 状 坊 表 东 的 Shannon 
线 图 。 其 中 状态 E, 到 状态 Ey 的 第 s KA EDT REOR BL 


$9 (6g a 21 
HERA P.(j,8) (图 9. 1) 。 对 于 沿 第 s A8 cb E 到 8; 的 信息 
Vi, 考虑 为 产生 长 度 UP (AP 
表示 ) 的 文字 LO? 的 信息 源 。 
PERE E. 发 生字 母 的 
A AEA Ha ELS 
PRR DP. 的 加 权 
在 均 , 剧 可 定义 信息 源 的 一 个 字母 的 滴 为 
H-2)P4.—- -EPY elj) logp (Gas) GRP. (9.1) 
EPER h, E1 DERISRAAE MSAN POS m, 单位 
HREIN EA 


Ho-sH O). © 0D 
PA m 有 下 列 的 关系 式 
mL Pas pp, (9.8) 


(9.1) 式 的 定义 是 $7 REUS EIOS LA f Shannon $k 
图 的 推广 形式 , 但 是 ,在 $ T ERU REUS RESORT, S 最 多 外 
El, 由 状态 方向 禾 的 全 一 ,很 容易 证 明 同 样 的 炳 是 与 (9.) 式 的 
精 一 致 的 。 

”用 字母 单位 表示 的 炳 五 与 用 时 间 单 位 表示 的 炳 瑟 ' 之 间 的 区 
别 很 重要 。 前 者 没有 时 的 酸 念 , ART PLE TEE BLUR POR IE BS PR 
蕊 的 信息 量 。 例 如 在 -本 书 中 一 个 字母 平均 含有 的 信息 量 。 现 在 
我 们 藤 这 本 书 时 , 信息 随 着 时 间 由 口中 的 声音 发 田 来 。 后 者 是 在 
单位 时 间 由 信息 源 发 生 的 信息 量 。 z 

JI E, fii RAPAS e X T ERN, BFE RIS 
不 是 字母 本 身 , 而 是 由 几 个 字母 相 联 构成 的 岸 到 , 亦 朗 从 消息 发 生 
hotte Bde. 为 了 简单 起 见 ， 没 消息 中 的 字母 与 过 去 
发 生 的 字母 是 独立 的 。 BPE L 的 概率 为 p, 信息 源 的 炳 如 8 4 à 
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Big — Xp log pi, Au MSS Kent n ege BH do. 
HR OBI 389 五 出 现 pi ns EA a 出现 pon 个 … 的 概 
3p Is Rn WRA 其 概率 水 渐 接 近 于 1。 从 而 含有 字母 
Lis Lys y e 的 特定 消息 出 现 的 概率 和 为 

Ppt pe" py". (9.4) 


取 对 数 得 
log p-n 3p: Jog pi. 
BREL loggpz —nH, mte 


og} 
AED 
He—.—P., (9.5 


所 以 信息 源 的 炳 近似 地 等 于 共 所 发 生 的 典型 长 度 消息 的 概率 倒数 
的 对 数 , 除 以 字母 的 个 数 。 

上 述 消息 恰好 是 “个 字 坪 的 字 坪 序列 时 ， 这 个 消息 的 长 度 只 
n ARE, 

Se e, (9.5) EAA, AUS REREDPEDHSUIS IRR 
示 的 信息 源 也 是 成 立 的 。 这 个 Shannon AWER UE PEREREDIT , 
着 比 求 册 消 息 的 概率 分 布 中 ,本 多 也 合共 证 过 这 个 问题 cm。 

定理 9.1 EHEKJON n A-SEBEHATILELUS E AE MERO p, HrK 
分 大 时 ， 一 log p 的 概率 分 布 ,对 于 任意 实数 ab, 近似 地 等 于 

Píac- ep) o o — z fi x [ RED ja， (9.6) 

Rh H 为 信息 源 对 单位 字母 的 策 , 双 
= BPP, Log p j) -H 


+2 D Pipi (j,S) log p(s,s) Bini m) log p,m), (9.7) 


E 
Qilin 2 [pf (k) — Py] (9.8) 
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Hehh y? A) 为 由 状态 ER i RA R G t 个 字母, 到 达 状 态 Es 
的 构 率 (上 式 中 的 对 数 或 取 自 然 对 数 , 或 取 以 2 2 icri Hc, 但 必 
须 取 得 一 致 ) 。 

由 上 型 定理 立即 知道 24 m 充分 大 时 ， 一 10g p 的 概率 分 布 是 
AnH A bO RAEES. EREEREER e 和 ò, 
对 于 充分 大 的 w， 巾 此 信息 源 所 产生 的 消息 可 分 成 两 粗 。 ARE 
率 之 和 比 。 小 的 为 第 一 租 ,其 他 满足 公式 


lger? _y|<s 
|、 n 


概率 为 p 的 消息 为 第 二 租 。 “ 

各 字母 的 时 间 长 度 不 相 辣 时 ， 著 以 % 个 字母 长 度 的 消息 的 时 
BEERE 一 log ps HEARE 9.1 就 成 为 关于 由 信息 源 发 出 的 
消息 时 间 长 度 的 概率 分 布 定理 。 但 H a iniii 
(8.8) , ch WAN B 


$10 信息 源 的 宛 长 度 


炳 这 一 概念 不 仅 对 于 电 通信 系 六 的 信息 源 很 重要 ， 而 且 对 于 
英文 . 锋 文 .日 文 等 自然 应 的 话 首 竺 构 研究 也 是 很 便利 的 构 念 。 
”已 知 某 一 信息 源 时 ,性 其 炳 为 五 。 再 很 想 另 一 个 有 相同 字母 
的 , 且 这 些 字母 是 与 过 去 字母 独立 发 生 的 信息 源 ,并 设 各 字母 发 生 
的 概率 都 相同 ,其 炳 为 Hus, RU 
P/H i 3 (10.1) 
PHBGRSSHIB relative Sii. XC BOBRGIMTS AHIESER, 其 
物理 意义 正如 以 后 会 谈 到 的 ， 就 是 这 两 个 信息 浙 发 出 的 消息 变 成 
lis] COS MP, 脸 定 的 信息 源 比 第 二 个 信息 源 所 压 稿 的 程度 。 由 
1ER, Un 
— (H/ Ba) (10.2) 
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MHATLI (redundancy) 。 尼 表示 不 同 种 类 的 字 地 在 一 定 的 情 吏 
下 ,这 个 镶 定 的 信息 源 命 有 多 少 没有 用 的 东西 。 

例如 某 种 语言 的 元 长 度 为 80% ，、 我 们 将 此 希 早 写成 文字 时 ， 
有 80 多 是 出 请 车 烙 鬼 规 定好 的 ， 剩 下 的 20% 是 写 的 人 自由 选择 
的 。 

H AKI C HE FUB B ELE 0 fup ia dc EPA BUS 
IRo AEREN EME” 13 James Joyce 所 著 “Finnegans 
Wako” BEREHAT. ENER RF 850 4- Sg, 
共 完 长 度 极 高 。 BaB KANAR, MEIR ERIAN E” 
这 样 复杂 的 表达 。 与 此 相反 ，Joyce 的 语汇 非常 丰富 ,许多 意义 压 
糖 在 一 个 单 厂 内 , 宛 长 度 很 小 。 

、 TEDES ht É REA DMEM, KEREN 
为 Markoff 过 程 的 状态 及 状态 之 疝 的 迁移 概率 , 而 是 从 消息 表现 
的 频率 中 直接 计算 其 炳 ,这 是 很 方便 的 。 . 

定理 10.1 正信 息 源 必 出 长度 为 n 个 字母 的 消息 B: 的 的 率 
为 p(B), 在 BB 之 后 发 生字 母 & 的 概率 为 p(B S). 而 pa (S) 
—p (B, 8) /p(B) 为 出 现 B. 以 后 ,又 发 生 Sí D Ae PR, 4 


G,- t XipBolog p (2, (0.8) 


Fac Z p(B, 800g pu (8), 20.4 : 


第 一 式 的 忆 是 长 度 为 %% 个 字母 一 切 条 列 B 的 总 和 ， 第 二 式 的 S 
表示 长 度 为 n 一 1 个 字母 的 一 切 B 以 及 六 一切 字母 的 总 和 。 RU 

| Gu Fa Jy n ERDRE R RE, A, 4 
F,—2G,— (n~—1) G1, (10.5) 


GP . (10.6) 


O PRAJER IC RUERE CTOPARRHV XL RPEHS — A 
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F,«G, (10.7) 
SARR, 
lim F,—lim @, =H, (10.8) 


表明 的 要 点 如 下 ?首先 ,Fo 为 二 的 单 油 递 碱 男 教 是 很 清楚 的 ,在 
F= CERO 8;)log p(Bis Sj) Xen 5p log p(B) 
e EROS 8;)log p(Bis 8j) + 习 p(B log p(B) 
中 代入 G, BEX ELI) (10.5) 5t. PESOS n 取 和 便 得 (10.6) ,于 是 得 
《10.7) 式 ，G, ERHEBEN. HAF, 及 Gu 必须 站 黎 于 局 一 极限 
fo AINEID., 得 im G, I7, 由 (10.7) 式 得 im F= H, 

这 个 定理 中 的 F, 35 BL Ankbde n 14 EBERT — t 
BRIER, G9 为 2 个 字母 序列 的 丹 。 这 个 定理 研究 了 长度 为 个 
字 幅 的 消息 的 煽 放 构造 , 当 % 逐 渐 卉 大 时 ,也 , 逐渐 接近 于 正 的 H 
是 显然 的 。 实 际 上 , Pn 如 §8 BOIS E RER n co DU, c 
信息 源 为 > 重 Markoff 过 程 的 特殊 情 现下 , 对 于 一 区 的 n>， 者 
A F-H, 

EXE OEEIAEIC LITT BETIS EIE 

| TEH2BERUM, 


zo mis mjs m| Barw 

Fs 4.70 gag | 47 MA | 4.7 o aw i 470 Bg 

Fi 4.324 Mg | 3.984 必 特 | 4.095.444 | 4.016 必 特 

Ps 3.6695. 
3.80 Si 
1.65 tè 


3.02 必 特 | 1.08 4$ | 1.97 4M$ 


一 个 单 滞 所 含 的 平均 字 丹 数 为 :英语 4.5 个 字 才 ,法 钵 4.8 个 
SERES HE 5.92 AE BE UEBER REOR 4.90 个 字 队 。 此 中 是 以 原 体 


@ Shannont 的 桔 果 。 


26 EE 


学 为 基 研 作成 的 , 上 述 宅 理 的 P, ersunagsistek AN, Fuge 
由 病 赫 的 烦 素 求 得 的 炳 ,再 除 以 单 请 所 舍 的 平均 字母 个 数 ，Shan- 
non 不 用 原 体 字 而 用 不 同 的 单 语 峭 率 吉 计算 英 清 的 7, 为 2.62 必 
A, h ERAR RPA KERR Rho 

TRTA ERIH CACHE AKI. 65%, Shannont 
FAERIE 100 MERR TI, 一 个 字 苹 为 一 必 
特 左右 的 值 , 此 完 长 度 为 Bh, REZ, BAX, 有 25% 是 个 
人 自由 选择 的 字母 。 淳 100 个 字母 以 上 过 去 都 考虑 在 内 时 ,实测 
的 元 长 度 就 更 大 了 ,此 时 由 于 包括 了 文体 与 内 容 的 影响 ,所 以 可 以 
得 到 可 伺 的 精 果 。 


BAR ”无 噪 亚 的 宛 散 信道 


本 章 首 先 仿 进 作为 发 射 机 及 接收 机 的 本 质 的 变换 作用 ， 站 次 
讲述 没有 购 兰 干扰 的 资 散 裤 道 ， 导 出 表示 信道 信息 传 透 能 力 的 通 
信 容 最 概念 ,天 述 有 关 的 基本 定理 , 井 葵 遍 能 得 到 最 佳 的 信息 传 运 
效率 的 粮 码 方法 。 

: 
$11 作为 变换 器 的 发 射 机 及 搂 收 机 的 功能 


Morse 电报 信号 是 由 点 . 划 . 字 母 间隔 、 单 苹 间 隔 四 种 不 同时 间 
长 度 的 代码 钥 合 桓 成 的 代 癸 序列 。 电 僚 打 字 电 报 的 信号 是 由 64 
种 不 同时 间 长 度 的 代 伪 硼 合 而 成 的 序列 。 所 必 离 散 的 信道 ， 力 是 
一 个 佬 糠 如 Morse 电报 、 电 俏 打 字 电 报 那样 以 有 限 种 类 的 代码 租 
合 而 成 的 代码 序列 的 信道 , 亦 部 考 虞 离散 的 变数 。 

首先 ， 发 射 机 将 信息 源 的 字母 序列 变 成 适当 的 代码 序列 从 号 
送 太 信道。 例如 对 于 Morse 电报 的 情况 ， 电 文 先 变 威 点 和 划 的 租 
合 星 出 去 。 接 收 机 则 把 它 还 原 。 若 着 上 腿 于 这 种 变换 作用 ， 发 射 机 
和 接收 机 部 是 一 种 变换 器 (transducer), 。 这 种 交换 器 的 一 般 性 质 

ET aA 

ER, ERRO Pa iSi OZ E FH HI RERS 
现在 输入 的 字 峡 有 关 ， 醒 且 与 过 去 的 字 甘 有关。 假定 内 部 的 记忆 
是 有 限 的 ， 印 变换 器 可 以 取 m 个 不 同 状态 , 当 信息 源 的 字母 进入 
变换 器 时 ，? 个 状态 在 内 部 发 生 迁 移 ， 此 时 假发 变换 器 考 出 的 代 ， 
码 叭 一 地 由 内 部 状 大 和 栓 大 字 生 所 决定 。 且 那个 内 部 状态 的 迁 
移 , 由 现在 的 内 部 状态 和 壹 入 字 央 唯一 地 决定 。 DUE 2 为 时刻 
裁 大 的 字 瑟 (可 能 是 字母 序列 )， 兮 8B 为 此 时 变换 器 内 部 的 状态 
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(Bi 为 Bis i, Bn 中 之 一 )， 乡 为 当 变 换 器 内 部 状态 为 B; CIRCA. 
SERE w, MEIR ECIS (可 以 是 代码 序列 ) ,出 
sif Gs B2, (1.1) 
Bia-g(n, BO. (11.2) 
PHERI BARA 6 — I E DS RA, Me 
两 个 链 案 式 联接 的 变换 器 可 以 看 成 为 一 个 变换 器 。 在 此 情况 下 ， 
和 如果 第 二 个 变换 器 的 输出 完 至 等 于 第 一 个 变换 器 的 输入 字母 ， 旭 
第 一 个 变换 器 由 做 正规 的 ， 第 二 个 变换 器 叫做 它 的 反 变换 器 。 通 
常 发射 机 是 正规 的 变换 器 ,接收 机 劳 凑 反 变换 器 。 
信息 源 联接 变换 器 时 ,其 输出 仍 可 考虑 为 信息 源 , 糖 出 的 代码 
序列 可 以 当 作 等 价 信息 源 的 消息 ， 于 是 亚 换 器 檀 册 的 代码 序 型 的 
炳 ,可 以 按 89 所 述 的 方法 天 算 。 这 个 炳 与 原来 信息 源 的 精 之 问 的 
关系 如 下 。 
定理 11.1 与 某 信息 源 联接 的 具有 有 限 个 内 部 状态 的 变换 器 
的 输出 ,可 以 考虑 为 一 个 信息 源 ,其 烤 比 原来 的 信息 源 的 灶 小 或 相 
等 。 如 变换 器 为 正规 的 , 旭 两 者 相 综 。 
EA 假定 信息 源 的 状态 为 a, 变换 器 内 部 的 状态 为 8, HREH 
态 m1 迁移 到 mm 时 发 生字 母 习 .与 信息 源 联接 的 变换 器 的 输 出 ， 可 考 虐 或 状 
EA a 8 所 表示 的 状态 的 积 (a, 8) 的 第 二 个 信息 源 。 信息 濒 的 状态 为 ms 
变换 器 内 部 的 状态 为 61. 信息 源 由 ar ZEE a 产生 字母 n. BP, 如 果 谈 换 器 由 
B1 EF) 8 产生 代码 vo 则 可 以 把 两 个 积 状态 (225 BD y (ans Ba) NERIK, 
BIAK BOR 产生 m, ETT H Pa Gr SOR. AA E ORB f 
于 是 能 由 这 种 积 状 态 及 由 联接 的 方向 趣 所 成 的 Shannon 不 图 计算 出 来。 从 
原来 的 信息 源 状 态 as 迁移 ,如 果 有 产生 字母 ma ma o, m 的 可 能 性 , 那 末 这 
个 状态 所 对 应 的 燃 为 


-Pu $ pa (2108 pa, (203 a1.3) 


其 中 Pu RERE a. PUR, 到 过 一 急 状态 的 和 ,就 可 以 得 出 信息 源 的 
精 。 这 对 于 第 二 个 信息 源 瞪 , 它 的 积 状 坊 合 有 os HRY (1,81) ，… (aay B0 


$19 EREA IA E EA e F bk 39 
BAHA UGRISROEUS Poan r Parsi WA FIRA: 
nire q1.5 
Ato ti x etc Ho T 
7 EPa, n Po, (21) 108 pa, (23) H + pa, Gro) log pa, G3) } e 
ee dlc ey (11.5) 
只 有 在 这 些 状态 中 由 任 一 状态 一 至 产生 字 苹 xiy n 2 时 才 与 (II.3) 式 
TEE. Bn (11.5) m fe 一 人 了 中 的 式 子 等 于 式 子 ps esp on pa, ops t 
MALD SL ELUBL (11.5) 5 (11.3) 4826, 但 在 相反 的 情况 - FF, 只 发 生 £15 295 
tm 的 一 部 分 时, 这 个 式 子 比 (11.3) 的 数值 小 ; 从 而 由 全体 来 看 第 二 个 信 
筷 源 的 烤 并 不 增 大 。 定 理 的 后 年 证 明 如 下 ; 正规 变 措 器 的 坎 出 恰好 联接 其 反 
ERR EDM H, H, 和 Hs 分 别 才 示 信息 源 的 精 、 正 规 变 换 器 稼 出 的 精 和 
RECHERCHE Hi>Hs>Hs=— Hi, 所 以 Ii = ID, 成 立 。 

以 下 所 险 的 发 射 机 及 接收 机 假定 是 正规 的 变 换 器 及 反 变 换 
器。 特别 对 于 天 噪 普 痪 散 信 道 ， 联 接 的 信息 源 和 发 射 机 是 正规 变 
换 器 时 ,其 壤 出 的 代 颂 序 烈 不 会 受到 干扰 ,接收 机 是 反 变 换 器 。 从 
而 在 这 种 情况 下 ， 信 道 稍 单 地 只 是 正规 灾 换 器 及 反 变 换 器 之 问 的 
具有 信息 交换 作用 的 物体 。 本 章 以 下 将 讨论 这 种 变换 作用 。 
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EXC HEE B rh NOH EI, Anf] de UM v MERC 7p ve? 
对 于 这 种 信道 ， 如 果 优 粮 信 息 源 的 信息 量 为 及 , 由 于 没有 品 普 的 
干扰 ,信息 量 没有 损失 ,所 以 泛 到 接收 机 中 的 信息 量 仍 为 H. 

定义 19.1 已 知 某 一 无 曲 普 离散 信道 联 接着 某 一 信息 源 ， 当 
它 发 出 卫 ' ( 炳 / 秒 ) 的 信息 量 时 ， 称 五 ' 为 这 个 供 道 的 传输 速率 
(transmission rate) ， 与 此 信道 可 能 联 搂 的 一 切 信息 源 中 , 传 粮 速 
an 及 ' 的 最 大 值 中 此 信道 的 通信 容 最 (capacity) ,以 0 3e 

以 上 有 是 以 精 为 基础 来 定义 的 通信 容量 , 与 此 完全 不 同 , 也 可 由 
实际 的 物理 观点 来 定义 ， 邹 某 一 信道 的 通信 容量 可 定义 为 传 壤 束 
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率 的 最 大 值 : 
3E 3.12.2. 激 粉 定 一 个 无 噪 普 依 道 , 在 时 期 允 之 并 ,此 信道 上 
ERARE R SJA) AR NT), MERRE C 定 
义 为 
C- lim dem (12.1) 


. Taoa 


BL(eoK EB fA FREN 12.2 与 定义 12.1 是 完全 等 价 
的 。 d 
PARRE RARR, VUE PRET RERHR a f EUR 
-发 出 的 消息 ， 役 发出 现 的 代 友 完全 与 过 去 的 代码 独立 ， 也 就 是 与 
Morse 电报 等 情况 不 同 , 不 论 什 么 代码 部 尤 许 出 更 。 在 此 情况 下 ， 
车 一 秒 时 间 内 用 个 代码 ,等 价 信 息 源 的 炳 为 耳 ', 朋 在 一 切 代码 
有 仙 同 的 概率 时 ， 姥 的 值 达到 最 大 ,其 值 为 log M. 根据 定义 
12.1, C h% log M, fg 32.3) kd. N (T) =M, ik O—log M, 
从 而 这 两 个 通信 容量 是 一 致 的 。 

在 更 一 般 的 情况 ， 可 以 考虑 此 等 价 的 信息 源 为 一 Markoff 过 . 
程 ,而 凡是 旧历 过 程 ,也 就 是 信道 上 的 代码 序列 附加 了 这 样 或 那样 
的 限制 的 情况 。 使 用 Shannon RARR, BERE E, gy E, jit 
s TE SUBHTUXESEBEOREOS pO, 5) , FERREX i KI, 状态 E 
的 概率 为 Po h (9. DAO DRAZEN 12.1, ERREN 

.—EPaG, gp, s) : 
F-— NBRGOON — E). (2.2) 

EH. 因为 是 台历 过 程 , 所 以 由 人 .8) 的 关系 有 


PP Bp, =P; (12.8) 
及 
Pa, 9-1, (12.4) 


àLB-i. (12.5) 
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38 5, S CUBRE, BERRET 已， 从 而 求 (12.2) 的 最 大 

fü, RIER (12.3) 7528 (12.5) 条 件 下 的 plj, $) 的 最 大 值 。 求 

《12.2) 的 极 大 值 ,可 用 Lagrange 的 待定 乘 数 法 , 它 是 表明 在 叙 率 

非 负 的 范 团 内 成 为 最 大 值 。 不 管 条 件 是 什么 ， 考 处 p OS s) 的 极 
大 ,只 需 考虑 下 式 中 关于 p, 9) 及 Pi 的 极 大 什 就 够 了 。 

TE Pel, $)logptj, 9) 


U- RUE MRhata-r) 
TE«(XeG-)e»(za-1))h —— ane 
式 中 As qu, y 是 待定 乘 数 。 所 以 ， 
CN —BüvNgp 0). PO XPH- po 
(12.7) 
ERG rn m BaN 
E 
Ea 9- MY-0, (32.8) 


EAT (12.2) HRKI O 3635, EARBS Jc HR (9.3) R 
pm XAR, (12.8) RERA P CUL 6 zn mE y 0, (02.7) 
ARA p, 9) RUD j, s 之 和 ， 用 站 和 式 与 (12.8) 得 到 jv 的 关 
RA FERA 02.7) ,于 是 得 测 logP.(j, RRR, 对 数 还 原 之 
后 ,得 


` Bi, 8) =exp( — Cl +m mA). (12.9) 
取 一 切记 5 LARAN (12.4) 3X BERTE : 
F oxp (- OP + mah) -expém A). (12.10) 


这 是 exp (MA) 的 齐 欢 方程 , Du T EFE HERERI, 其 系数 行 烈 式 必须 
BFR: : 
Ziexp(- Cfi) — 8, |=0, (12.10 
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Ap 04 24 6 j hR L, 254 09 j E o AT O JE 12.11) 
式 的 最 大 正 实 根 。 这 时 迁移 概率 p (j, 8) 由 (12.9) 81H , EER 
的 。 忆 可 以 由 (12.3) 及 (12. 下 求 出 。 所 以 C 即 为 所 求 的 通信 容 
量 。 
其 次 由 定义 12.2 出 发 求 通信 容量 。 到 状态 E We, 发 有 时 
区 长 度 了 的 代码 序列 数 日 NMT). WRA EMES E, 时 , 产生 
THES UP, UP, V EP 的 代码 ,从 而 ` 
N=) NT). (12.12) 
HEARRE, 24 了 ->co 时 其 渐 近 解 是 
N/T) = AW? | (To), (12.18) 
将 此 式 代 大 (12.12) ,得 
awg aw» 


a F(E W 6o, 
于 是 ACH3EAE BUS A HAZ AH, 
Iz w^? a= (22.14) 


站 里 最 大 正 实 根 决定 了 W, FUB BRUT Q2. 19) SY. sus 
12. 1, 即 得 通 角 容量 C 为 
Ohm ES 一 log W. (12.135) 


BERTARA L) 及 (12,14) 完 全 是 相同 的 ， SUAE AE 
文 出 发 都 一 样 。 上 述 的 精 果 可 议 总 精 成 下 列 定 理 。 

定理 12.1 不 受 蛛 彰 限 制 的 代码 序列 作成 的 高 散 信道 中 的 代 
码 序列 以 Shanaon RARR, HRE 如, 转移 到 E; 所 发 出 的 8 
个 代码 的 长 度 县 为 GP, 攀 ，…， 聊 ， 划 这 个 信道 的 通信 容量 O 为 
loggW. 3r W i 
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[zw * -8-0 (19.16) 
的 最 大 正 实 根 。 此 时 状态 问 的 迁移 概率 mr Ca 5) 为 
t p. 9 =p ; (12.17) 
i 
stib BL BOE TRIER: 
B-XBW. (12.18) 
319 ig cx 


IB fd rf EB HEARKE, ORUM ED 
很 长 的 代码 序列 。 对 于 这 种 信道 , 由 信息 源 发 出 消息 时 ,可 能 用 什 
AREIS ao RE ANE? 下 列 定理 就 回答 这 一 间 题 。 由 $9 
REIL OL, 当 含 在 信息 源 的 消息 中 的 字母 非常 多 的 时 候 , 几 乎 所 
有 的 字母 序列 都 以 大 致 相同 的 概率 出 现 。 当 时 间 很 长 时 ， 信 道上 
的 信号 方面 , 儿 乎 所 有 的 代码 序列 也 是 以 大 到 相同 的 概率 出 现 ,以 
后 考 的 时 间 长 度 除 前 者 字母 的 个 数 ， 可 以 得 到 单位 时 间 尼 出 的 在 
均 字 母 个 数 ,从 这 一 点 出 发 也 可 想象 有 下 列 的 定理 。 

定理 19.1 guider ISTE ERU H O/P), E 
ERRCHGEVUDR UR ROS C OR EP) ,对 信息 源 发 出 的 消息 进行 适 
当 的 其 码 , 基 在 此 信道 上 ,可 能 以 单位 时 间 丰 均 ( 生 一 。) 个 字母 的 
速率 进行 传 辐 ,其 中 e 为 任意 小 正 数 。 但 不 可 能 以 比 平均 C/ 百 个 
SEWER oio HT MERI 

BER 首先 , PME U., RAAE TAE RRMUS — P. Rp 
所 述 的 迷 率 传 选 信息 时 ， 3C Ro EUUPSES ECRIRE A Dc AT HERAS HI 不 
会 超过 通信 容量 0， BD HUC. SAREREA H 除 两 端 得 单位 时 间 的 
平均 字母 数 I7/H «0 / H JXRRERR TERE — s 

SERN RT PUB SEXE 9.1 PEDRRSTERROENEBI, SL Shannon gigs 


P HA ENGINE 
UÉEHUBSISISIATE Tk, CHO v SERE ÉLEERORRSIA HI UEBER, 
得 >>py， 其 砍 ; 取 其 时 加 概率 P, 3] n, GHEE p), HE P, 
按 二 进位 小 数 眉 开 ， 取 第 - - 们 到 第 m, 位 数 。 这 个 m, JE MH, WRAAK 
式 ; . 

log, deem <1rlogs i ^5 BD 
第 :个 涌 息 ,就 用 这 梯 二 进位 歼 0 与 1 得 到 的 二 元 码 来 去 示 。 窗 素 大 的 消息 
IDHATRESSER RU MSAN AUR, CIS DR 


1 
E ws € PS unc. 23.2) 


P, WORLIHUS SURE SCC P, 5) 相 上 比较 ; m, fefe bd Hon 
十 的 数字 是 不 同 的 。 因 为 所 有 的 Pi(i> DINRIN P, 所 对 应 的 二 元 
硒 至 少 大 于 1/3w, 这 个 二 进位 数 (注意 是 小 数 ) 展开 之 后 其 前 m, lbi P, 
的 前 ms 位 不 局 。 从 而 如 此 作出 的 二 元 三 互相 不 同 ， 这 使 消息 还 元 的 壕 操 作 
赦 成 为 可 能 。 其 欢 计算 一 于 原来 消息 中 一 个 字母 所 用 的 二 进位 三 的 平均 位 数 
D,, 得 
D=} Emp. (13.3) 
但 由 (13. 了 及 (13.2)， . 
zI(|ei)eeiiese-ii(reel)e. aso 
从 而 由 定理 10.1 的 G, 的 定义 ,得 
G, «D eG T, 3.5) 
3 n EAK HEX 10.1 知 Gu 搂 近 于 个 息 源 以 必 特 / 字 尽 所 雪 示 的 精 瑟 ， 
再 由 上 式 ,得 Ds MUT H CES OBERE TUENR RE d Ob IRE, Lu 
JCRE TC d 元 三) o fto OTI PCR RT CREE. ICI HEIN 
去 。 潜 在 另外 的 情况 ,由 定义 12.2 知道 不 管 对 代 三 序列 有 没有 限制 , 时间 了 了 
HAKE, 在 了 时 间 内 发 出 去 的 不 同 代 研 序 列 的 个 数 大 到 等 于 207。 这 207 
个 代码 序列 可 以 用 CT 位 (EBREI OT 相近 的 事 数 ) 的 二 进位 Be cn IH 
来 ,用 上 上 壕 的 由 P, 得 到 的 二 元 柄 按 CT 位 分 成 区 时, 然后 换 成 此 信道 加 有 的 


代码 序列 发 出 去 。 
个 字母 , 妈 C/D, 个 字母。 由 (13.5) , 当 NN，7 相当 大 时 ,其 值 接近 于 C/H, 
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—H dia e VEL UA ICA D e E PORBURE , REEERE, 由 负 
RRAK, Wok B ULIS Pri HLDCES RRM. 这 个 定理 中 
Wi C8 28 Hi AB MERE, fel EUR On D PT EA EET T E 
dF.EBSUERU, MEZ, re SELOUGRE GE E PR OUT RUBIA A ELS, fE 
38s KAE E RAE RIGEN A LUHA RR ISTE REDE, ede Dt 
Wo —fA& EAS REM, 上述 定理 证 明 , 近 俱 可 以 达到 任意 的 精度 。 

Shannon 的 稳 码 法 ,在 发 射 机 及 接收 机 内 至 少 要 有 ?个 字母 
的 延 过 ,一般 需要 很 长 的 延迟 时 间 ,这 种 御 性 及 各 序列 的 发 生 答 素 
有 如 此 长 的 希 节 作为 填 偿 。 实际 上 , 发 射 机 和 接收 机 延 迟 了 很 长 
时 间 会 使 通信 变 成 不 可 能 ,所 以 这 种 方法 没有 太 大 的 实用 性 。 

信道 的 实际 传输 还 率 与 通信 容量 之 比 叶 篇 硕 效 率 ， 上 述 定 理 
中 ,此 和 值 接近 于 1， 
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定理 148, 是 以 等 时 间 长 度 的 “0" 及 “1 二 元 三 对 任意 信息 源 
的 消息 进行 精 码 ,消息 中 工 个 字母 所 对 应 的 二 元 码 的 平均 位 数 , 与 
原 米 消息 中 的 信息 基 格 近 ,这 即 是 所 述 的 Shannon 方法 。 此 种 一 
元 三 f 为 实际 的 信道 上 的 代码 使 用 起 来 有 很 多 的 便利 ， 而 且 消息 
较 长 时 ， 信 息 的 传 窒 效 卒 很 好 。 具 有 此 种 性 质 的 磊 码 方法 ， 还 有 
Fano 方法 69， 等 长 枉 码 法 so 等 ,这 些 方法 ,在 消息 的 长 度 为 有 限 
的 情况 下 都 不 能 保证 输出 最 好 的 速率 。 其 后 , Huffman RRT A 
腿 长 度 的 达到 最 大 平均 速 检 的 征 码 方法 ， 使 这 个 问题 得 到 了 解 
决 中 。 自 然 , 当 消息 的 长 庆 很 大 时 ,也 收 委 于 定理 13. 的 理想 速 
ME, ACUWOEAORA B UCIUSURIS Fano it, Ht Shannon 
MRE AID Huffman 方法 。 这 里 所 论 的 代码 不 只 
是 二 元 码 ,也 可 以 推广 到 多 元 码 m。 

Fano EA HOHEM. 个 消息 按 其 概率 大 小 顺序 排列 ， 
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其 次 把 此 集合 分 成 两 个 子 集 ， 使 各 子 集 内 的 概率 之 和 尽 可 能 接近 
相等 。 在 此 情况 下 ,一 个 子 集 内 的 消息 赋予 二 元 码 的 最 初 数 “0”， 
另 一 个 集合 的 浓 息 赋予 “1”， 接 着 把 尖 个 子 集 再 分 别 和 分解 成 两 子 
集 , 第 二 灾 子 集 内 的 消息 概 李 之 和 也 尽 可 能 使 之 接近 相等 ,对 于 第 
二 次 分 解 的 集合 的 消息 赋予 二 元 码 的 第 2 数 “0”, 对 于 另 一 个 第 二 
欢 子 集 内 的 消息 赋 子 第 2 数 “ 二 .这 个 操作 继续 下 去 ,直到 各 个 子 
E, 只 命 一 个 消 总 为 止 , 使 各 消息 都 赋 子 了 一 个 二 元 码 。 表 14.1 
就 表示 .上 述 的 操作 方法 ， 雪 中 的 信息 源 由 7 个 具有 所 标示 构 府 的 
消息 租 成 。 这 个 信息 源 的 炳 为 2.61 ( 必 特 /消息 ) 。 第 :个 消息 所 
有 峰 了 的 二 元 码 的 氏 度 裔 为 ( 秒 ) , 码 的 平均 长 度 ( 秘 /消息 ) 即 是 


=p La. (14.1) 
3€ 14.1 Fano fS 
一 一 一 一 
EMETIEZIEDEDESET 
1 | e» í | a 
2 0.19 3. 

3 0.18 8 
MM Sd SES 


fefe - E 953 (d / Rb) 


FAB Lav | 274 ` 


"n E 


u REET ar 
同一 信息 源 ,如 用 定理 18.1 Bro Shannon MNSE MER 
14.2, 


3€14.2 Shannon Süd$jk 


MIR 7 - 
mA | aen | SU uon | NIE 


1 | om 0 3 000 

2 i 0.i9 0.20 3 001 

8 9.18 0.89 8 oti 

á 0.17 0.57 3 100 

5 0.15 9.74 3 1301 

6 9.10 0.89 4 1110 

T 0.01 0.99 7 1111101 

quee pa 0934 — | 


SRAM 2:05 0.851 (0/8) 


Shannon 方法 及 Fano 25225 18 8 ORAIN BAF ER 
， 一 理想 佳 ,但 在 上 例 有 限 长 废 的 情况 下 并 不 一 致 。 在 不 一 致 的 时 
候 , Fano 方法 的 效率 比较 好 8a。gShannon 方法 从 数学 上 说 ,唯一 
地 确定 了 二 元 码 , 但 Fano 方法 因为 对 浓 息 集 合 进行 分 解 , 所 以 不 
是 唯一 的 。 

Axut Huffman fik. NON RUE M 个 消息 选取 
BAHARA, WARN (14. 了 的 平均 码 长 最 小 的 码 粗 要 具备 五 个 
条 件 ， 并 并 明 满 足 这 些 条 件 的 必然 导出 最 好 的 码 租 。 JR dE 
码 。 

下 刘 两 条 件 是 基本 的 。 

G) 选取 的 最 优 码 租 中 ,， 任 取 两 个 码 ， 具 有 不 同 的 数码 的 排 
列 。 

GD 当 最 优 码 租 的 一 个 长 序列 已 烙 定 时 ,这 个 序列 最 初 的 码 
知道 后 ,其 后 码 之 间 的 间 卫 不 必 标明 出 来 。 
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例如 , 取 01,102, 111,202 为 基本 码 , MIISI H): 11110220201 
可 以 区 分 成 四 个 人 码 111-102-202-01, B3 11, 111, 102, 02 作 
基本 克 ， 就 不 亡 作 .上 述 码 序 玛 的 区 分 。 其 次 看 一 下 豆 14.2 的 
Shannon KEk, M 个 消息 接 基 顺序 大 小 排 询 ,并 使 概 府 大 的 消 
息 对 应 的 码 长 比 概率 小 的 演 息 的 码 长 为 小 。 换 成 这 样 的 码 , 与 任 
EWAH, Lo REDT. WEL, A TANEH A: 

Pipe mama. (14.2) 
RR 
Igls SLs. (14.8) 
S M 号 消息 所 对 应 的 代码 的 最 初 Lu 位 数字 ， 若 与 第 对 一 1 号 
消息 代码 的 Lus 位 数字 相同 , 旭 条 件 GD 不 能 满足 ， 故 必 不 相同 ， 
从 而 把 已 运 有 过 的 码 再 加 添 数 字 时 其 位 数 起 过 ,Tux-: 是 不 必要 的 。 
也 就 是 
Gi) 20 C AI. ya Le. ^ (14.4) 
_ 如 果 Lu 位 数字 所 构成 的 消息 中 , 任何 两 个 代码 的 前 Lar 一 1 
位 数字 相 异 , 妈 把 各 消息 代码 最 后 一 位 数 去 掉 之 后 ,可 使 Lae 变 小 ， 
而 且 各 代码 并 还 可 以 识别 。 从 而 得 

(v) 由 La 位 数字 租 成 的 代码 至 少 有 两 个 ,甚至 有 9 个 代码 ， 
它们 的 前 Lx 一 1 位 数字 相同 ,而 最 后 一 位 数字 不 同 。 

其 次 ,把 4 种 数字 排列 成 Lu 位 以 下 , 假定 不 作 码 来 使 用 , 而 
作为 其 他 码 的 开始 部 分 来 使 用 是 不 可 以 的 。 此 时 所 得 的 数字 排列 
作成 的 码 能 局 Lu, 变 小 。 亦 即 

(v) Lx 一 1 位 所 有 的 数字 排列 作为 码 本 身 ,或 作为 码 最 初 的 
Ly 一 1 位 的 数字 来 使 用 是 不 可 以 的 。 

由 上 述 条 件 , 35:8 d—2 的 二 元 体 的 精 构 。 由 Gii), 概率 最 小 
的 两 个 消息 所 对 应 的 长 度 是 相等 的 , 由 (iv) , 长 度 为 Lx 的 两 个 代 

” 硒 的 最 后 数字 为 0 1, 其 他 的 数字 部 相同 。 这 两 个 代码 车 对 应 
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T8MSEM-LIS188, NI BA tH SHE — I SEO BS. 
IRER, ATERA GREC M —2 个 浓 
息 合 在 一 起 改 为 开 一 1 个 消息 ,再 依照 其 概率 大 小 顺序 排列 之 后 ， 
就 可 次 定 晤 小 概率 的 两 个 消息 的 最 后 数字 。 这 种 操作 可 以 重复 施 
行 。 于 是 Huffman 者 儒 法 可 以 归 灿 成 下 烈 五 点 : 

(i) M 个 消息 依 概 率 大 小 排列 之 。 

(ii) 对 于 概率 最 小 的 两 个 消息 , 求 其 概率 之 和 。 

Gii) 把 上 面 求 出 的 两 个 消息 的 概率 之 和 看 做 一 个 消息 的 本 
率 , 再 与 其 他 消息 依 概 府 大 小 排列 之 。 

Gv) 继 粮 (二) 与 (iii) 的 操作 ,直到 最 后 剩 下 一 个 以 1 为 概 举 
的 消息 。 i 
(v). 对 每 两 个 联 在 一 起 的 消息 分 别 赋予 二 进位 数 ,相反 执行 
ERWE, M 个 消息 就 各 获得 了 二 元 码 。 对 于 .上 例 的 信息 
源 , 利 用 这 种 和 三 法 可 以 得 到 下 14.3, "Esc Hs Shannon 和 Fano 
的 方法 有 较 高 效率 。 . 


3:14.8 Huffman figs: 


Wat kal . .[|-xw-|w 长 


d 2.61 LA 
Télam 7. 一 0.960( 必 特 / 秒 ) 
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胎 普 的 离散 信道 是 信息 答 中 最 有 兴趣 的 部 分 , 从 Shannon. 
的 研究 以 来 得 到 了 许多 结果 ， 并 且 严 格 化 了 。 KERIA EH f 
道 的 优 熔 迷 率 , 瞬 昧 度 和 散布 度 等 概念 ,然后 导出 关于 通信 容量 的 
重要 定理 ,并 且 阅 明 其 计算 方法 和 信息 传输 误差 的 上 有限 等 性 质 。 


$15 暧昧 度 ,散布 度 及 传输 速率 


现在 考虑 传 翰 信 号 在 信道 中 受 漳 噪 普 于 扰 的 情况 。 这 就 是 
i, 接收 机 收 到 的 全 号 与 发 射 机 发 出 的 信号 不 一 定 是 一 致 。 但 是 
所 硝 不 一 到 ,如 果 发 出 同一 个 代号 , 必然 收 到 同一 信号 , 那 末 这 不 
是 噪 首 的 干扰 ， 而 是 信道 中 的 畸变 。 接 收 机 对 接收 到 的 全 号 有 一 
定 的 校正 作用 时 ， 至 少 在 原理 上 可 以 除 掉 畸 变 的 影响 。 今 后 我 们 
不 考虑 畸变 的 情形 。 从 信息 鹊 的 角度 看 来 ， 最 重要 的 是 发 出 同一 
信号 之 后 ,最 后 不 一 省得 到 周一 信号 , 即 所 计 随 机 对 应 的 情况 。 这 
就 是 以 后 所 述 连 剖 信 道中 的 噪音 ,从 物理 上 襄 , 连 积 随 宙 变 数 的 电 
Wed. 重 渤 在 离散 储 的 代号 波形 上 , 精 果 使 波形 打 乱 。 理 给 上 , 可 
以 用 现在 记述 的 和 演 息 相同 的 随机 过 程 来 表示 ， 特 别 是 看 做 与 演 
DRRR. KRATER, TARE ANNE 
的 状态 有 关 的 情形 。 在 砚 散 信道 中 不 是 注重 波形 ， 而 是 发 送 的 代 
码 因 噪 普 的 干扰 ， 随 机 地 成 为 男 一 代码 。 受 到 噪 普 干 护 的 借 道 与 
8 11 所 壕 变换 器 的 区 别 是 : 在 后 者 为 必然 的 现象 在 这 里 却 是 随机 
现象 了 , 28 8 11 X (11. , (11.2) 的 信道 状 态 为 6, 时 , 合 发 射 
机 信号 为 vi, 接收 祝 收 到 的 信号 为 y:， 此 时 信道 迁移 到 状 想 Bl 
BIRD pes (Un Bie). 特别 是 ， 本 章 所 葵 的 是 信道 上 可 生发 
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出 的 代码 与 以 前 的 代码 完 从 独立 且 受 到 噪 登 于 扰 的 情况 ， 这 样 的 
信道 没有 内 部 的 记忆 ， 这 种 信道 只 有 一 个 状态 ， 上 述 和 概率 中 人 参数 
Be 可 以 不 管 ， 信 省 的 性 质 可 以 用 -一 租 迁 移 松 率 pa (V) ER UI. 
如 以 后 各 节 所 述 ， 在 发 射 机 发 出 的 信号 与 以 前 发 出 的 信号 独立 的 
WAT, 可 以 导出 较 群 翻 的 性 质 , 其 他 的 情况 就 非常 复杂 了 , 本章 
主要 只 令 术 前者。 

信息 小 发 出 的 消息 秆 发 射 机 变 成 依 导 ， 绝 有 咖 筷 的 信道 优先 
汉 屡 收视 ,接收 机 在 收 到 信号 之 后 ,还 原 成 消息 。 在 考虑 这 样 一 个 
通信 有 乘 竹 时 ， 代 表 洽 息 的 或 称 为 信息 的 信号 以 及 有 干扰 作用 的 咯 
车 必须 看 做 两 个 随机 过 程 。 这 里 有 几 个 闹 标志 并 这 个 通信 条 统 的 
特征 。 首 先是 信息 源 的 炳 , 亦 印发 射 机 输出 ( 即 信道 的 边 太 ) 人 号 
的 炳 吾 (e)。 本 章 假定 发 射 机 是 正规 的 ， 从 而 两 者 的 炳 是 相等 的 。 
AEA BENER A REKER SER H (y). defit Pe 
BRAI D y 者 接收 端 。 如 果 没 有 咖 营 , 则 得 H (0) =H (y) , 但 
有 阶 亚 时 等 式 不 能 成 立 。 由 发 射 端 及 接收 端 信号 的 联合 概 素 分 
布 ,按照 $5， 股 其 联合 炳 为 H (o, y) , 又 假定 已 知 发 射 信 导 时 , 接 
收 信号 的 条 件 糖 为 Hy), 已 知 接收 信号 时 ， 发 射 信 号 的 条 件 精 
为 豆 , 人。 这 些 炳 之 问 的 关系 为 

HG) -H(»)-H.G)-H(-H,(G). (5D 

Sk Uso PERI PR, MEDI ATI TEE RI, UR RU GER REA 

AOEDIBUDI, REB EAHA EUN, SFA 
"Q^ 及 “1 两 个 数字 和 成， BOIRE, HURE 
1000 个 二 元 数学 的 速率 做 渤 信和 号。 就 是 向 信息 源 以 I000 必 特 / 黎 
的 速率 产生 信息 。 假 贞 从 溢 因 受到 噪 普 的 干扰 ， 在 接收 端 每 100 
个 数字 中 有 一 个 鱼 澳 数字 。 存 效 些 情 交 下 如 何 使 用 炳 来 岗 定 有 了 品 
TRUAN? 而且 又 不 能 与 312 EBRR AR 
Ro I AE B ETT E ER e BENAZ SHE TR 090 
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必 特 / 秒 看 做 传 贮 速率 ,但 这 是 不 对 的 。 因 为 没有 考虑 在 接收 端 究 
葛 哪 一 个 数字 是 错误 的 。 如 果 考 虑 一 个 和 极端 的 情况 就 很 清楚 ， 假 
定 噪 普 非 常 大 ， 以 至 接收 信号 与 发 射 伪 号 变 成 完 5e Sor. VT 
防 发 射 端 发 出 的 信号 是 什么 ， Hc HBICE O s 1 co d T, 
从 而 接收 信号 多 有 一 中 可 能 是 正确 的 ， 实 际 上 就 是 根本 没有 发 出 
什么 信息 时 ,此 信道 的 传 核 速率 也 有 500 必 特 / 砂 。 就 是 信道 切断 
之 后 , 接收 端 还 是 如 辐 浪 硬币 一 面 为 0, 另 一 面 为 了 一 样 , 具有 完 
他 相同 的 传 粮 速率, 圭 果 引起 了 矛盾。 

涯 然 这 里 所 能 考 者 的 是 由 发 出 的 信息 量 践 去 接收 信号 所 损失 
的 信息 量 ， 也 就 是 在 收 汉代 号 时 与 实际 上 发 出 的 信号 中 的 不 确定 
性 。 这 不 确定 性 如 人 85 所 述 , 力 是 接收 信号 已 远 知 道 时 所 对 应 的 发 
身 介 号 的 条 件 炳 ,采用 条 件 病 的 合理 性 是 可 以 起 旬 的 ,实际 上 也 是 
和 如此。 从 而 有 下 面 的 定义 。 

定义 15.1 有 噪 晋 离散 信道 的 传 糠 速率 定义 为 

R-AJH(s)—H,(«), 15.2) 

与 此 信道 有 关 的 所 有 信息 源 中 忆 的 最 大 值 称 为 这 个 信道 的 通信 容 
是, 以 C 表 之 。 

(15.2) 式 中 烤 坟 时 间 单 位 或 以 代码 单位 表达 者 可以， 如 以 时 
回音 位 表达 ， 没 有 杂 莹 时 五 , {2) 0, 与 定义 12.1 相 -一 致 。 以 代 


码 单位 卖 达 的 炳 当 仿 道 没有 噪 普 时 没有 特别 的 意义 ， 在 现在 情况 ” 


下 ,已 表示 对 于 工 个 代码 来 脱 含 有 多 少 正确 的 信息 。 

对 照 一 下 上 例 ， 收 到 数字 0 时 ， 实 际 上 时 出 0 Kaki btt 
0.99, 发 出 数字 工 的 后 验 概 率 为 0.01。 收 到 数字 工时 ， 把 上 面 数 
PO 及 工 的 概率 代 换 一 下 ,于 是 

H, (d) = — [0.9910g,0.99--0.01 log, 0.01] =0.081 
( 必 特 /数字 ) 。 
然而 1 秘 间 发 从 1000 个 数字 ， 所 以 乘 1000 后 得 81 444) A 


D 


: 


Ea 
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ihi 33809) M EOS 1000—81 = 919 E/E TERA M W A 
子 中 ， BIERRA T. D 


Hæ) = - [339,31 1 3 ]-3 088/62, 


或 为 1000 4445 / Eb, Fio, fet Bolo Os 0; 苦果 不 发 生 序 盾 。 
BERUB (15.2) 3a 5.7) sic, 4. 

BeH()-HG)-H(s,g)-HG) HG, (15.8) 
此 式 与 (15. 一 超 , 共 有 三 种 表示 式 。 

条 件 精 HL 0) 称 为 有 噪 首 偿 道 有 美的 旧 昧 度 @ (equivooa- 
tion) 。 这 个 量 标志 着 接收 信号 的 平 光合 糊 径 度 。 与 此 相对 ,发 身 
信号 在 接收 端 因 噪 普 的 干扰 会 收 到 刍 识 的 信号 , Ha (y) 就 表示 发 
射 信号 在 接收 端 引起 错误 的 范围 ,入 为 做 布 度 (dissemination) 。 
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有 了 噪 普 的 离散 傍 道 ,不 论 发 的 是 何 种 信号 ,由 于 受到 噪 普 的 干 
B, TERREA S, 于 是 定义 了 通信 容量 , 这 与 无 品 普 信道 
确实 优 带 不 同 信息 的 最 大 值 的 概念 不 同 。 但 是 以 元 长 的 形式 传输 
信息 ,可 以 减少 收 到 代号 的 错 识 春 率 。 例如 ,把 信号 重复 地 多 发 几 
次 ,接收 端 邮 重复 地 接收 ,从 上 比较 中 可 以 御 定 出 现 最 多 的 供 号 为 实 
际 发 出 的 信号 ， 这 样 可 使 错 驳 的 和 概率 变 得 很 小 。 TB JE SER UE ME 
RIER, ENSROGIUA TOR AE EUR DRGAE AHEVIEJESE, ED 
- 上 ,这 种 印象 是 完 妈 错误 的 , 这 由 下 列 定理 可 以 襄 切 。 事 实 上 , 在 
发 射 端 发 出 适当 往 码 的 全 号， 接收 端 收 到 受 噪 普 干 扰 的 信号 后 进 
行 适 当 的 站 态 ,只 要 个 术 速 率 不 超过 通信 容量 O, 就 可 在 这 信道 上 
以 任意 小 的 错误 概率 位 壤 信 息 。 就 是 说 在 这 种 情况 下 ， 通 信 容 量 


O ”或 者 竺 为 可 颖 度 。 一 一 校 者 注 
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是 ' 几 乎 正确 地 ? 传 迁 不 同 信息 的 最 大 量 ， 这 和 无 噪 亚信 省 的 情况 
下 的 概念 在 本 质 上 是 相同 的 。 此 时 , 要 以 恤 射 机 和 接收 机 内 较 长 
的 延迟 时 间作 为 代价 覃 取 小 的 让 
差 。 但 是 以 比 C 还 大 的 速率 而 日 无 
中 地 伟 泛 信息 是 不 可 能 的 。 此 事 可 
HEB 16.133€, Bob 3E Ig fit 
道 从 息 的 发 生 速 度 H (n) , DR 
信道 中 的 瞬 昧 度 HI (0). PHERI 
Hos FU TE SER ERRETA 

这 个 惊人 的 事实 被 Shannon 首先 指出 四 , 后 来 他 的 定理 被 
Feinstein' 2 严格 化 了 。 歼 可 以 说 是 借 息 论 中 评 煌 的 成果 。 

定理 16.1 发 有 噪音 的 无 记忆 离散 信道 @ 的 通信 容量 为 0， 
Miel ROS R, WRR m 充分 大 , 则 存在 一 种 入 码 方法 使 当 以 
RO 的 优 惊 速率 修造 信息 时 ， 其 错误 概 李 可 以 小 于 Fee, 
RE F A B 为 信道 的 固有 常数 , 5R EnH, 4 RO 时 ,就 
不 可 能 有 象 ER<C 的 情 刀 使 错 吕 概率 达到 任意 小 的 夺 依 方法 。 

证 明 这 个 定理 之 前 ,要 求 有 一 些 准备 知识 。 

在 发 射 喘 ,长 度 为 = 的 代码 序列 一 般 用 w 表示 ， 接 收 韭 的 代码 序列 以 w 


BUR, BEFGEE I um (ct Tas y 0). 它 在 发 射 庙 所 取 的 概率 为 PG0， RU. 


log Pu) = Blog Plo) . 


实际 上 发 出 4 时 ,接收 的 代码 序列 为 的 条 件 构 率 表 为 ps C) EEA o E 
JB ny Yas o 98 s HU 


log pu (w) = Ši log p, (5) . 
此 外 ,w 和 的 集合 分 别 以 万 和 了 麦 之 ,得 


O ARILARIN” yi $]5 开始 所 进 ， 是 指 信道 中 由 嗓音 所 小 的 变换 上 与 
过 去 完全 独立 的 信道 。 


~ 
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R-HQ)-HyG), 
Hæ- Pwo ra), (16.1) 
mo) c1 Xu poss log pw, 
这 个 定 现在 叙述 三 个 辅助 定理 后 再 证 明 昌 。 
堪 助 定理 及 ”对 于 任意 正 数 < 和 6, 存在 一 个 %(e， ò), SE 
En AE ale, 39) 时 ,使 公式 
[a Lye Po) | «e a6.2) 
ARCEM] u REZAL F Ò, FIRES E 
| 2,6 + Yogp 60] <e (16.3) 


不 成 立 的 “和 ? PIRA e ERREUR] 0. 

ER ”由 火 数 法 则 及 定理 9.1 可 以 求 得 。 以 下 只 需要 用 不 等 式 了 (gg) 
SRNO- 及 po (u) s» 2-101) 99 , 使 这 些 公式 不 成 立 的 概率 分 别 以 久 及 
dt SER. r 

辅助 定理 也 4 Z 表示 联合 概率 大 于 1 一 6 Huo) RA, 
BRU. AWE PU.) 7-1—0, RU B9 Ti, S uU Wb, (u, v) 
EZ 的 的 集合 以 4 表示 , RJE pa (4a) >1—a y u C Us ld 


dU CU, BEP) 1-9, 


证 明 depu (A) ma di acu 的 集合 为 za。 此 处 AS Je A A o 
FÆ uE Us BE pla, AD SAPO) , Wi A; 的 定义 ， SY, AD 15 Z F 
AT a> E P (u, 4) >aP (U3), 3 P(US) «h/a, Bl p(Us-Us) «h/a, Xi 
BRUST Usa BE POS) S PQ) -PUU >l, 


辅助 定理 0 GIC eH zs, BESAN c Bs 
-ERHIAN u FOE ac Ks BERE. p (0) MERERI 2 Po oca 
O ATHEA IEN ERNE MEDIIS ELR Jc 
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35 Du, WERE 
H, (u) « — P,log P,— (1 —P,)log (1— P) 十 Petog(M -1), 
(16.4) 


其 中 M A RARR ERIE AA, 
TER BOKEHCEETEIN o MASAREN P.C) .于 是 根据 定义 ,Po (内 
的 县 大 值 为 了 Ps(o) 。 失 而 
— op. Q0 log p, (u) 
-在 最 大 秆 以 外 的 po 00) 部 等 于 P. ()/ OE D BEERIB-K dif 
-Pptdlog p (0) <-I- Po]og[L- P (9)] - Polo)log Tet, 
(16.5) 
IOAESRERESP A EOS . 
Pem D PE) PO). (16.6) 
f 10.5) RII RD Po) , t v 相 加 ,再 利用 (16.6)， 得 
HG) -BPW — P, (0) Hog (1 P, ()) Ps) og P400] 
TP,og(M-1), (16.7) 
sb DR MICI v BEAR EH, 由 $5 之 (6.8) 式 ,条 件 
粮 小 于 没有 条 件 的 糖 ,把 第 一 项 的 东 件 精 换 以 没有 条 件 的 铺 , WA IG.) 、 
现在 开始 定理 101/0095, PURDE MERR, ER 
R«C 及 已 知 任 一 正 数 。, 则 存在 一 个 满足 下 列 性 质 的 ney R, 84 nanle, 
TORE KHOE n 的 代码 序列 至 少 存在 20 个, 且 当 发 迁 其 中 一 个 代码 序列 时 ， 
鱼 昼 楼 收 的 平均 概率 必 小 子 e。 此 时 接收 的 方法 是 , 捷 收 到 代 酉 序列 "时 ,可 
以 下 断 实 际 上 发 出 了 具有 最 大 po G0 的 gw。 首先 配 明 下 列 事实 。 
XEPIE- e» 0€ R«C feli A nle, É), nanle, BIN BH n A 
码 的 人 三 序列 中 ,至 少 存在 207 个 代码 序列 集合 (ui) 满足 下 列 条 件 : 
G) 分 别 对 每 个 um 陪 ， 存 在 注 中 条件 pu (D) >1- e f o BARS Bo 
Gi) B 彼此 不 重 渤 。 又 当 Ro» C 时 ,不 存在 这 桶 的 代 三 序列 。 
首先 ,在 E>C 的 情况 下 ,传输 速率 超过 了 C, 这 是 矛盾 的 。 
。 Exe RANC, Ha), Hya) H3) RE H*G), Fo). BI C 
一 了 ez) - Hj). 
ARRENE A BR RET. pe) SIARAD, p (a) «c -*0900-40, 24i 
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UE ny (Er, D) y nia 93), 今后 会 4 为 大 于 ra, na Pre, KAERDER 
如 由 的 Z 及 Uo, 分 别 全 为 满足 上 上 烈 两 个 不 等 式 的 集合 。 此 时 对 于 任意 的 
WE Da (与 此 对 应 的 常数 4 小 于 e) EUR Au 中 的 得 


TONERS 
BG T GT m P t. 


ERR P (e), 再 依照 A, 83) v 相 加 ,可 得 
DAS > MC- PA) y 
也 在 左边 pu C4.) «d, PRHE 
PAJAKAN, (36.8) 
Sus, ons nu 为 满足 下 列 条 传 的 U 的 元 素 粗 成 的 集合 W: (a) 对 于 每 一 
"s 存在 满足 Pu (B) >l eo RIRA B, (D) PCI) «270-779 er, 
(B, ERBE, (0 MAW 为 最 大 集合 ， 即 找 不 到 那样 的 Writ 及 Bus 
使 集合 二 …， terz AOE OR 
由 定义 ， 对 于 任何 wETr FER E p, (4)21—a-l—ef] As BH. 
(16.5) 式 成 立 。 此 外 ， 对 于 任何 WE V1，4, 一 wD B; 5 B, WA DIAE 
分 ， 
P(A,- wD B) <20, 


Eu FEW 中 则 
Puldu— Aut 20 B) 1—6, : 18.9) 
Bp. CS Bà)me—a, REX FMBI uE Ur- W =U- W Uag 
PQ B) 76-2, 


ER e< zs 时 ,由 埋 助 定理 B XC 的 定义 得 


PQi)-Ero»Qro] Bt een 


»c-o[1-5- 3 -»0r-v9]« ü-ePOF-Ug 


- -a-t 
>e-a(1-z-2È), 
另 一 方面 , 因 PQ B) « M2-O-h-0, 所 以 
M 2750-76-89) > (e-o (1-3; =), (16.10) 


当 o 2 时 ,也 有 同样 的 辕 果 , 以 下 只 海 厌 e< 革 的 情况 。 今 固定 sens 


s8 353 dO E 
332 Ko ny BOR 24, Bn M”, 使 不 等 式 (16.10) 丰 成 立 , 刚 使 (16. 了 0) 成 
ERI M 的 最 小 值 也 比 M* Ko BIAN M* 52", a—e/2, Of T, ÒF, £a 
当 小 ,适当 大 ,使 (1 一 如- PI) c n2. I8 e /8 ton o- t mro OR 
~ê Ea >O F) Egg 65 充分 小 时 ， 对 于 充分 大 的 M, e 3-270 n7 不 再 
Run. MILH M» Mte anh, 

HAR e X n Ro 


å .4 一 3-wc-Rrareoa 
B- pa" 其 中 lin N 


esa 
ATRA os ren Fina estt a VÉT E 时 达到 最 小 值 ， 


MB, HVA AVET Pul (V Abi HD). "ma 


-三 二 ， MA NET 
时 ,得 wa<e， 从 而 
LIGUE VER | 6.) 


为 对 应 于 。 的 最 小 值 的 上 限 。 
JA, 当 收 到 代 硼 序列 "时 ，Ps Qu) SK fis p, (xs)， 根据 辅助 定理 
CRIER, Po(v) 等 于 1 一 po(u.) DENS 
Pa=B PPee) SPP) -plu)) 


=1-B Poj p, (u) 
=1- JYP (Ope) — PP OQ 3 
7f E 
而 可 :为 满足 pw, (B) 271 e B us PIE Es DR EE us 得 
EH " -5 
PSL YE Pp) yii, OPa) 
-1- 3 BO.) Me» (y) 
1-2 POOp. B) — Pp QC — X BO 
s1-MPea-o- Tiu) 1e) ne. (16.12) 


由 捕 助 定理 C 的 (16.4) n e «1/2 Wi e AARS ied 
HyG)«—eloge- d—2)og(1-e)-elog(M-1), (16.13) 
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此 序 代码 序列 的 腰 味 度 。 除 以 * 即 得 代码 的 暧昧 度 ， 


. H, = nw). (16.14) 
此 处 M— 275, R<C INMI e->0 (Nos) M 1h 10.13) 4 
Hy) =i n, >o n>a), (16.16) 


IUE P) c 277^ Bl noce B. $ CHOD- JOR, 这 个 事实 ， 
Shannon QLAR, Feinstein GERAI. ERR 
下 念 述 机 占 妊 多 篇 幅 , 这 里 只 计 论 对 称 的 二 元 三 信道 。 即 发 射 奖 只 发 射 刀 及 
a 两 种 谐 构 成 的 代 三 序列 接收 端 也 只 接收 v. 及 yo 两 种 研 。 慨 巩 有 对 称 性 
Pa) m py Ta), B 51 及 6 充分 小 ， 设 C 一 及 一 缮 一 ez>0 及 H*(z) -R— 
— 6370 ar. (16.10 sth t 没有 一 个 清楚 的 唯一 的 上 限 这 里 当 六 >co 时 ， 
s BEIC 玩 快 地 收敛 于 零 ; 容 易 证 明 时 A e Ye 1/n ERREFE (RA 
WRCLLYSS 144~145 页 的 定理 ) 。 与 (16.13) 对照 一 下 ,不 仅 (16.15) 的 HH (x) 
趋 于 零 ， 代 三 序列 的 恒 昧 度 Hc Qu) 本 身 也 收效 于 芍 。 对 于 不 对 称 的 二 元 码 ， 
一 般 荣 件 下 的 直 明 ,用 中 心 航 限定 理 还 不 够 ,要 使 用 Feller 定理 (W. Feller: 
Trans. Amer. Math. Soe, 54(1943) , p. 361—372) 可 以 得 到 上 上 列 辅 果 ， 得 这 


HORT. 

以 上 精 束 了 基本 定理 的 征明， 但 若 品 各 对 不 同 代码 序列 的 二 
扰 不 是 互相 独立 的 , MES Marko 过 程 的 情况 下 ， 如 以 后 所 
浊 对 于 过 本 信 闭 邳 样 的 证 明 还 未 完全 得 到 。 如 上 所 过- 一般 可 求 出 
接收 新 差 平均 概率 的 上 确 界 ， 对 于 对 称 二 元 码 的 信 遵 , Ellas 全 求 、 
四 一 个 下 上限。 . 

TEREBIT IRE DIT SAUENE T Sp o REC Ho GC AS 
16.2 Fo, 左边 的 点 表示 发 射 端 发 出 的 长 度 为 4 个 码 的 代码 序列 ， 
右边 的 点 妈 麦 示 接 收 端 的 代码 序列 。 如 果 发 出 一 个 代码 序列 例 
如 Sa， 接收 端 在 点 群 Ra 中 有 一 点 为 所 对 应 的 收 到 的 代码 序列 的 
概率 几乎 等 于 1, Ra 的 一 部 分 点 属于 别 的 S, 所 对 应 的 Pu, 在 这 部 
分 ， 侧 断 是 否 对 应 于 S: 是 困难 的 。 如 果 适 当选 择 使 接收 端 甩 ， 
Hasc Ra 相互 重 泛 部 分 变 小 的 2" 个 点 硬 ,Ss，…, PE RAE 
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Mf, GRE Ri， Rs，… 彼 此 重光 部 分 的 概率 测度 接近 于 堆 。 光 是 定 
sim gas 0 PRÜSSESEROY, Wien uM fa e ac 
: C, Rl R<O, 25 2"" 个 可 以 任意 接近 

E e 2*7 ^M EJVASRUSC , PLACES RT 

"s MEBI RER, ERATA 
27 ARSE ANRH 277 个 来 使 用 , Bn 
ERBE ALMERE. HOS 38 

m, 到 这 个 月 的 , ”就 必须 充分 天， 一 般 地 
说 ， 这 要 求 在 发 射 机 和 搂 收 机 中 要 有 很 
KRIER ERIRE, EEZ 


Mieres E 

这 个 基本 定理 仅仅 是 一 个 存在 定 

| ; : 理 , 到 现在 为 止 ,具体 的 ”最 佳 大 三 方法 

j ARA, (JR, KAURA 

WERE, DEN noo DERE 

AFEFE, 这 种 构成 方法 在 理论 上 的 兴趣 及 在 电 回 路 上 实现 的 

实用 性 将 在 下 面 讨 洽 。 训 ias 在 1954 年 最 初 找到 对 于 w >oo 的 优 

过 速 认为 有 限 值 的 编码 ,但 远 不 能 达到 通信 容量 ,只 部 厂 是 全 具体 

BROS, JA, daN T ERER EEA RS, ID 
RA MERE, 

KARE PAL (8. B Be RARR ERA, 


p Bac 
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独立 的 ， 品 莹 的 于 护 与 过 去 也 是 独立 的 最 简单 的 离散 信道 。 受 到 
这 种 噪 香干 扰 的 信道 的 性 质 , 由 发 射 端 发 出 代码 i(2=1,2,…,N) 


图 16.3 


C» 
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的 条 件 下 接收 端 收 测 代 售 ji j1, os. 71) 的 条 件 概率 p D 完 他 
JUE, JA pij J G, j) BEEE ERTER (p.c) 叫做 信道 短 
M. 

Shannon fH XH (i AFE Jy MERR oli s h JR cS 但 由 
Cn G) ) EFBGITATBEREAEDIEUP, 这 个 问题 稚 室 货 解 决 了 "”。 
信道 的 一 个 有 趣 性 质 是 在 安 射 端 可 能 使 用 的 代码 中 选取 一 部 分 代 
BRRR DE RERKERGRAEHEA,, ER DERRE BIER 
fiis, FUE ARE GEO EEFCRSRR UT RE Jc URS, EREU) 
Jae APER 3L Jn fe, AR T FUITE T MER ESI PUE 
性 。 
首先 导 册 通信 容量 的 计算 式 ,从 下 型 定理 看 来 , 优 粮 速率 的 才 
示 式 就 变 得 简单 了 。 ; 
定理 17.1 散布 度 的 特性 方程 

Žal pgn G-12,,8) Tb 


的 解 以 Xs, Xar rn, Xu Ro FERGER ROR/RO A 


-$j P; log P+ Px. ar.) 
又 散布 度 HYS 
a -$ PX; (17.8) 
表示 。 其 中 P, Aiekin HSUS j 的 概率 , 且 有 下 列 关系 
Pn) = Gl a, am.) 


TARAH, HART. D 26 C17 4) 5 R FANER. MEAE 
有 4 


È Ano a pp 
ERAUR DER, M SEE NARA ALERE 


a ILE D EI 
LUE ET T RURE ORA 
AAE H RREA A Tod RE 
KJLI M= N, BB (lE XM OS Y。 此 时 通信 
容量 是 在 às- 一 二 的 条 件 下 , P0, P0 范围 内 (17.2) 式 的 最 
大 值 , 先 用 Lagrange 待定 乘 数 法 来 求解 航 大 值 的 问题 。 


- Ñ P; log P; +% PX, HÈ P, (17.5) 
BOR P; 使 上 式 达 到 极 大 值 , u APERE 
dU, — — (celog P) EX pei (7.6) 


LRR P) 后 ; 按 了 取 和 ,期 得 0O+h 一 1 一 0. 3trp Co 07.2) ad 
大 值 。 因 此 代入 (17.6) 式 得 

g P, =exp(X,—0), ` (47.7) 
也 因 为 Xi P1, 所 以 

Q -log [3 S'exp (xp). : (17.8) 

BATTAR P 为 正 ， 400 Q7. D RIBUS Pe, 如 以 后 的 例 所 示 ， 
不 一 定 是 正 的 ,也 可 能 是 鱼 值 。 若 一 切 值 都 为 非 人 负 , 这 个 和 就 是 所 
求 的 通信 容量 ,于 是 有 下 列 定 理 。 

定理 地 .2 起 信道 甜 阵 (0 (7) 26 N WrdESESEHINGE DE, RE 


. N, . 
Wee GU O3 ded C — log [31 exp ro } setius j 的 出 现 


概率 Pi Y oxpQX.—O) Br, KARAR, 但 对 这 些 Pj 所 
求 的 P: 都 是 非 负 的 。 


鞭 家 我 们 考虑 上 述 定 理 中 至 少 有 一 个 负 的 P, 的 情形 。 此 时 . 


在 Py, o, Ps 的 非 负 的 范 园 不 能 达到 极 大 值 , 故 在 值 域 的 边界 上 
传输 速率 达到 最 大 。 从 而 在 Pss n, Porto ENS REZ, 
SARPRUSE BEDA SA TIE SEE , BEDAE ARE KT, RE PL Ps 
HRA r AER, de FOKRITRDAE dE, ATR AEEA 


"T ea 
(T e PM) \ 
: H ) (r<M). . 
b) PM) 
在 此 情况 下 ,要 求 通信 容量 ,只 须 求 7.2) 的 最 大 值 就 可 以 了 。 
于 是 作者 次 联 立方 各 
| Šas Gl s n. 07.9) 
"Eja Of —7) ERRED SP, =, SP G1, e. M=), R 
(17.2) REAKIRI, KT Lagrango 待 守 乘 数 法 求 其 县 
大 值 , 此 时 相当 于 (17 . 今 条 件 的 .必须 满足 条 件 
ZinGB-B G-n3 30. . A710) 
换言之 , 变动 PL, os Pu 而 求 其 极 大 值 时 ， 在 变动 过 程 中 不 是 相 
互 无 交 的 。(17.10) 式 通常 对 最 后 解 出 Pss ons P, 是 必要 的 ,其 必 
”要 及 充分 条 件 是 5 
Š: Psp =o ei, =, M— r0). 47.11) 
在 17.11) 式 的 欧 束 条 件 下 求 (17,2) 的 极 大 值 , 仍 可 用 La- 
grange je. MMR 
U= Eg P, +$ P X, tu: sp 7.12) 
的 极 大 值 , 式 中 is oi (mds ns M Lr) RERE 
Z- —A+ogP;)+X;+ut 号 wsP-0. (17.18) 
SRI Pi JAE j ROTAR E u, 并 把 (17.11) 考 虑 在 内 得 
Pj-oxp(3,- 0 Sins), G1, MD) 17.14) 
再 把 此 式 代入 (17. 了 1) 得 


erp (c SinsP)-0, G-1, =, Mr). aras 


fs 


IR M n 个 联 立 的 超越 方程 中 决定 下 一 ” 个 待定 乘 数 请，…， 


84 . 63k ag m CO 
ves. Xy SEABPL, y HAT DRU N WARE 
PRR BERAN (17.15) 在 此 一 般 解 中 决定 一 个 。 义 因 
1 
X P=, 所 要 求 的 极 大 鸽 为 

0=1o8| Soxp (X + Aw). (47.16) 


将 (17.15) 所 决定 的 待定 乘 数 代 叉 之 后 ， 即 竺 所 求 之 C。 以 公式 
(07.10) 的 P; 代 太 G7.10), 求 得 的 Pi ARERI, UIRE 
大 值 就 是 通信 容量 ,从 而 下 列举 理 成 立 。 

XGR17.8 REAREA rT Hee PCIE MA, RNE 
BRIR n RARER AA 


€ —log[ Sow (x b »,$9)], (17.17) 


共 中 必 请 足 构 束 条 件 (17.15) ,又 由 (17.14) 式 的 接收 代码 的 构 率 
已 代 大 (7.10) 后 解 出 的 Pe HEUS, : 

FEDA a EESE s A EI oR AEREAS REAK, EA 
容量 ， 首 先 用 发 射 端的 全 部 N 个 代码 , onm 17.2 DEAE, E 
计算 出 这 个 极 大 秆 时 的 PL, …，N) ， 涛 其 中 有 一 个 Pi 是 负 
BU, 则 在 发 射 代码 中 除 掉 一 个 ,以 一 个 发 射 代 体 用 定理 17.8 
求 极 大 信 。 将 除 神 的 代码 一 个 个 地 改换 着 , 求 其 极 大 值 , 若 所 对 应 
iN —14- P 都 是 非 负 的 , 其 极 大 值 中 景 大 者 即 为 所 求 的 通信 和 容 
量 。 才 不 洽 怎样 选择 六 ~ 工 个 代码 ,对 应 的 极 大 值 的 P 总 有 负 的 ， 
此 时 把 发射 代码 减 为 玉 一 2 个。 如 此 把 发 射 代码 的 个 数 隆 低 ,次 
到 上 述 作 法 中 不 出 现 负 的 P 为止 。 此 时 信道 的 最 大 传 过 速率 , 印 

- 为 所 求 的 通信 容量 。 洲 此 时 的 发 射 代码 的 个 数 为 ?， 基 信用 个 
TATH, NER ATER r 个 三 的 情况 。 

在 以 上 科 算 过 程 中 ， 可 用 下 而 的 方法 共 体 地 襄 明 (17.9) 的 基 

本 解 。 收 灾变 数 的 号 数 ,使 最 初 ? 阶 子 行列 式 不 等 于 堵 ， 
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2d IO) o ptl) no) 
7 4| p.a) egeo eps) 
mg 
S851, S39, —0, --, SP —0; 
BO e. plr +2) e msn p 


' 


Ger) 


GT) Lar as) 
85,0, 85,71, 885-0, a SP—0; 
spoon cL mO nOD mn) | 
2 y id 
(i=1,2,,r) 
SHIO =0, e, SUDO, SVP, 
[QD … ii 
Ip) pol 


以 上 的 讨论 是 假定 在 (L7 D 有 解 的 情况 下 进行 的 ( 若 解 不 是 
叭 一 的 , 只 考虑 其 特 解 就 够 了 )。 如 果 解 不 存在 ， 则 由 安 射 端 至 少 
有 六 一 p 个 通信 代码 不 使 用 ， 其 中 o WEERA, MÈ 
”方法 便 可 求 出 通信 容量 。 我 们 省 略 了 此 种 情况 的 人 详 笨 玲 证 ， 但 可 
注意 它 具 有 一 些 有 趣 的 性 质 "9。 
BREA RARER 


这 里 4 


0 0 3 0 


iz © o 1/2 
1/4 1/4 1/4 1/4 | 


K 1/20 0 


解 (17.D 48 X,—4Jog2, X, Xy -0log2, Xi=0， 应 用 定理 17.2， 得 
C=iog(17 +y) 与 此 对 应 的 P, 
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16 1 
Lc (2- 十)>0 | 


16 1 i 
pi reg gg) 
"sk 


MES 
I+- 
32 


i20 0 
( 1/21/2 0 
0 0 1 
用 (17.18) 式 得 基本 解 为 S2 — —1, 5$ —1, SP=0, JETER, Xs —21og2, 
X7 X4—0 25 —HHE IRR C7 15) Ag 
—exp(—21og 2—v) 2exp(v) -0, 


所 以 "= —3-log2, 由 此 得 出 


. 


soe 2exp( -2bg2ed1oe2) expo 21 V2, 


cue TM 
2-2" 


Py=P 


BA. Pi 
-— 
20422 


这 些 P REER., HAHA P. 以 外 的 代码 时 ， 求 册 的 通信 容量 比 此 种 情况 
小 。 从 而 得 到 通俗 容 景 为 
0=log(1+ V3) (44/85). 
在 更 一 般 的 情况 下 , 印 当代 硒 序 列 受 到 信道 的 限制 , 且 曲 理 具 
有 Markoff 性 质 时 ,也 合 僚 论 过 通信 纵 量 的 示 达 周 题 ca。 
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3E BY ERSTE NRK PR, AARP”. aud 
ART 6 BUSCO S SACIDE He PATH REOLI 

用 几何 方法 表示 通信 容量 ,计算 的 意义 更 显得 清楚 “9, Shan- 
non 便 对 此 作 过 计 论 <9。 


第 6 章 ” 有 喉 普 的 离散 信道 的 编码 


SCHO do PRORA PASA, AIS 
才能 使 接收 的 误 盖 为 最 小 , 同时 又 要 效率 高 。 前 章 已 经 涪 明 存在 
一 种 理想 的 竹 肯 方法 ， 但 洋 际 上 极 重要 的 骨 题 是 如 何 进行 具体 的 
A AEREN ARRE, SRRA NARA, MRE 
FRR. 
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fef EL ERSAT, BPA S Re Hl dee C NUT Ry 
Mb. URBC ERRARE, RTI Be e e RE PEOR. Ak 
小 的 赔 是 如 第 瑟 章 所 这 ,无 噪 香 的 信道 没有 讽 莽 ,事情 比较 简单 ， 
已 得 到 很 好 的 精 果 , 但 有 了 噪 普 寺 扰 时 就 比较 复杂 。 对 于 有 了 品 香 信 ， 
道 的 粮 锣 ,从 信息 论 的 立场 来 祷 , 它 的 概念 如 下 - 
首先 将 信息 源 产生 的 消息 中 宛 长 的 内 容 用 $ 14 的 方法 取消 ， 
压 精 成 有 信息 意义 的 消息 〈 对 于 无 噪 普 信 道 是 一 种 代码 变换 器 ) ， 
再 附加 了 能 减少 接收 错 课 的 元 长 数字 之 后 传 途 出 去 ， 就 是 所 要 的 
NSE. SUE $16 的 基本 定理 知道 ,对 于 有 噪音 的 离散 信道 ,使 接 
政 错误 接近 于 雾 ， 且 通信 速率 尽量 接近 于 通信 容量 的 三 儒 是 存在 
的 , 但 是 如 何 具体 构成 这 种 三 码 是 一 个 问题 。 这 个 问题 还 没有 得 
“到 解决 ,从 理 验 上 说 出 是 很 有 趣 的 。 实 际 上 ,在 发射 机 和 楼 收 机 内 
都 不 万 疼 有 过 大 的 延迟 ， 把 代码 按 有 限 个 加 以 分 区 再 进行 僚 选 ,此 
种 想法 很 实用 ,全 多 方 被 构想 过 。 
AREA, 检查 错误 的 码 有 5 中 取 A 码 , 7 中 取 3 码 0, 一 
KEZIA 
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般 地 说 , 中 取现 确 及 2-5 位 请 9 等 比较 实用 。 自 从 信息 脸 出 现 

以 来 ,对 条 码 进 行 了 最 有 条 束 的 研究 。 最 简单 的 是 0 及 1 两 个 数 
字 构 成 的 二 元 码 ,下面 以 二 元 码 为 中 心 进行 讨论 。 

首先 来 明明 能 币 正 或 检 出 错 距 的 二 元 码 的 一 般 原 理 。 长 度 为 、 

n HIZIN O REIA 2" 个 ,由 此 码 粗 中 任 取 两 个 玛 , 识 为 YX 和 

瑟 2， 而 这 两 三 的 第 + 个 数字 发 为 mio a 1,2, 0), Bn 


Xi= (Vu, Byns t Cin) y 

Xa (En, Fass rt Ban) o j D 
此 时 定义 

LG, Xa) ~ es) ~ (8.2) 


28 X1 5 X. INSERERE GP Hamming REG), HAZ, MET 
S APROM HESS C HH BE 28 n iyi 3 Ze 4 2" 
W M AS hai M AAE DE IHIBATEG HS JE d 大 或 等 于 了 时 ,其 称 此 
M A itii eo ELE ROS d 的 天 组 (简单 地 就 中 码 ) 。 在 下 列 
于 内 的 二 元 码 中 ,保证 能 再 正 及 检 出 一 定数 目 以 下 的 数字 差错 。 


a | 5 的 性 质 
1 aw o7 
2 LALE — 1 fr REM HR d 
3 能 够 料 正 任意 一 个 位 置 的 数字 洗 慰 ,能 够 失 和 两 个 些 贰 
27 MERERUE y —L ARR, M DRH 2y —1 74828 
2y+1 SERERE y PIRR, TI LLRI 2y 个 错误 


Au BRAE KAEI PENETRE ITERAR A RON HU, m 
Mea A HEIR H, ag RT REIR HER ELO E, 
这 里 ,9 一 2 六 十 的 二 元 码 组 也 容易 改 为 d-2R--2 538. dc 


和 ”有 -部 从 电子 许 算 机 使 用 闭 这 种 三 。 
O 由 ?个 “0” 或 “17” 数字 排 成 的 码 , 本 章 称 为 长 度 为 的 二 无 帮 。 


70 Mos BUERT Mc A 
EAHA CS 1f 3B e 71", Jf — 
- “0, 最初 的 伪 租 最 短 距 询 为 2R8 十 1, 这 样 的 蝗 离 只 有 在 含有 偶数 
MIRR GARANA 工 的 码 相 过 时 才 发 生 ， 同 时 含有 偶数 个 工 
的 两 个 儒 及 癌 时 含有 奇数 个 工 的 两 个 急 距 离 为 偶数 ， 变 成 2 有 3 十 2 
以 上 了 ens 
但 从 信息 传 运 的 立场 看 ， 这 是 通过 发 射 端 按 一 定 方 法 在 消息 
上 附加 元 长 的 数字 ， 使 接收 端 以 最 小 的 错误 还 原 戊 原来 的 消息 这 
样 的 操作 ,以 减 小 偿 道 中 由 于 出 现 噪 普 干 扰 而 使 消息 发 生 的 错 训 。 
在 此 意义 下 ， 最 短 距 高 的 码 姐 不 是 利 正 而 只 是 检 出 错误 个 数 的 界 
Bt, BIDSARISRCSVRS 27b 1 SEBRUS Re HERES , BT DIES HCUCISUIE BURN 
RKR. MANARE RRRA, E T HEUBCHISE DOR 
JEREB RIPER D ,因而 车 不 计算 接收 的 错 识 概率 ,就 很 难 比较 
已 知 体 租 的 优 劣 。 在 此 意义 下 在 均 距 离 这 一 概念 如 所 后 所 示 , 比 
ROSEBDEREWO, ， : " 
XE Aci e RE ATTE Re Be ISO, 397m EREE ze Jg 
成 代码 ,在 接收 端 则 把 收 到 的 代码 还 原 为 原来 的 消息 ,如 果 有 简单 
的 规划 , 卯 末 用 电子 楼 路 来 处 理 这 些 代码 是 很 使 利 的 。 发 射 端的 
MEERE PERRE, 再 附加 一 些 特定 的 数字 , 在 接收 器 
利用 收 漳 的 代码 与 有 移 束 的 M MRZE AILE, PREE 
柄 最 短 的 代码 利 断 为 所 发 的 代码 ， 这 种 距离 判断 法 乃 是 一 般 的 稀 
码 及 译 码 法 ,容易 知 洲 当 浓 息 个 数 很 多 时 ,所 需要 的 电子 楼 路 非常 


@。 淡 收 以 上 代码 时 ，、 浸 有 考 虞 到 各 数字 的 电波 形 ， 只 基 判 断 0 式 1, 实用 上 可 
以 者 凌 电 波形 , BUR R 个 疯 差 时 ， 把 波形 最 不 正常 的 数字 改正 之 后 ， WIARE Re 
MR, 

车 不 明确 指定 抄 政 机 内 的 弹 码 方法, MRAR T E Bo ARKEN T 
芒 单 ,不 考虑 各 个 数字 波形 的 错 贰 料 正 , 愉 考虑 各 个 数 宇 的 损 幅 值 是 大 或 是 小 , 就算 收 
FERE, 

€ 这 在 部 epian pak WAN, A KITARAA EARE o 


$18 4 HE dU HOS n" 
MK. XERUEEXCE, TERI EE E A IMS EUN 2 
法 。 

所 彰 群 不， 如 (18.1) 所 示 , MEREN n ALE XXE Xa 

之 并 有 下 列 精 合法 有 的 码 : 
* YeXiQXi- (y Yar pg， (18.3) 
共 中 qo mua. 
(TEL ) 
Zn 一 Va 一 0， 或 x4 一 Va 一 1 时 o0, 
an=, zal, 或 xu—1,T4—0 时 y=. 
如 此 得 出 的 形 个 码 所 成 的 码 粗 至 体 ,构成 一 个 Abel 群 ,例如 : 
X, (01011100) , 
X47 (11110000) , 
eng i Xı®X = (10101100), 
这 个 Abel gE(13& (1535 — OREAREN O= (0, 0,…, 0) 。 
容易 证 明 , 此 种 构成 Abel 群 的 码 粗 共有 2* 个 码 ( 必 是 整数 ) 。 

如 果 消 息 的 个 数 愉 好 是 2* Ae, 阳 用 位 二 进位 数 表 示 时 ， 可 
BRR j TREA ;这 个 二 进位 数 以 下 剂 法 阳 附 加 元 长 数字 as 
MEREK ERA BIS (systematic code), 6 a, Jt 

Bye Gb, V n), (18.4) 


而 ys 79 0 9k 1 SE, XB (yu) PU RELSRRS GU ISUR XR DR y XH RT 
己 如 (18.3) 的 四 一 样 ,是 以 2 为 模 的 加 法 (mod 2) 。 3X UHR — Rc 
督 (parity check) 。 此 时 a1, aa，…， ax BHE Miti (information 
position) , az., a, 对 监督 位 置 (check position), fid (yu) Ju 


1011 
1101 
1110 
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人 时, 对 滑 息 (U101) 的 租 炽 码 为 (0101101) , Kif E (1130) PIRKE 
为 (1110001)。 

这 种 组 各 码 ,在 发 射 删 当 已 知 玫 示 洽 息 的 信 息 位 置 的 数 季 时 , 
很 容易 添 儿 监督 位 置 的 数字 ,在 接收 端 由 收 到 的 信息 位 置 的 数字 ， 
重新 以 规定 好 的 Cy.) 算出 监 令 位 置 的 数字 , 把 它 与 接 雪 依 内 的 监 
FERATE ZCUEAE JUBE , TS er AB SES AD JR TER ERL , UMETA I 
的 个 数 很 多 时 , ARH H-THERERSEBLIOK, Ee ERE 
与 群 作 之 阅 关系 的 下 列 定 理 *" 9m 

定理 18.1 一 切 群 码 都 是 粗 楼 码 ,反之 ,一 切 租 究 仿 都 是 群 友 。 

EA ”满足 (18.4) 式 - 浙 监 督 的 码 粗 内 任意 两 个 万 HIR 8.3) CR 
会 之 后 ， 易 知 同样 满足 - 致 监督 关系 ， 从 而 一 切 粗粮 码 为 狼 枉 。 反 之 ; 一 切 
PRSA MR- E, E A bel 狼 可 以 用 基底 (base) 才 示 ( 参 看 本 从 书 中 
有 关 群 区 的 著作 )。 印 由 27 4M p ia tm 8. 引 式 取 共 一 切 可 能 的 赵 
性 狂 全 ,就 可 才 示 出 共 他 一 印 的 锯 。 从 而 把 2* 个 三 加 以 排列 ， 可 得 到 以 0 和 
工 为 苑 素 的 2* fF n FIERE, 其 秩 为 上 、 从 而 此 矩 承 有 :天 个 线性 狐 立 的 列 , 其 
Jl n—k ABIRE DU k Mj: C18. 3) STER, FUE k SULCIS 
BARIERA ky 有 2*3 43, EP), BIERE E ITERE FEEIOIHREL2 
为 模 (mod 2) 形成 加 群 , 因 其 中 直行 线性 独立 ,中 行 不 含 相同 的 元 。 从 而 此 
短 障 为 0 到 2* 一 1 的 上 位 数 2 3E GEBOT, BERUF 列 烤 字 是 信息 位 置 ,任何 
位 的 到 字 可 以 与 其 他 无 关 地 选取 ， 余 下 的 n— E 列 的 数字 可 由 天 ARTEN ^ 
(28.2) Eie Rr. 

租 各 三 中 最 篇 单 的 情况 为 X=% 一 1. 监督 位 置 的 数字 只 有 -- 
位 , 当 信 息 位 置 中 工 的 个 数 为 偶数 时 ， 监督 位 置 的 数字 为 0， 当 出 

”更 奇数 个 时 就 为 18 ， 这 个 码 组 的 最 短 距 离 为 2。 此 种 情况 非常 

简单 ,几乎 不 会 出 错 底 。 单 是 为 了 检 出 错误 是 很 适用 的 ,此 法 常 在 
电子 计算 机 .上 使 用 。 

距 交 和 制 别 法 ,或 是 更 有 租 粮 的 方法 ,说 明 如 何 具 体 地 粮 码 及 洛 


O 反之 ,也 可 以 簿 数 时 为 1， 奇数 时 为 0。 
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ESA i SEX m § 16 AKERRA A i RRE, 这 一 有 
` 趣 的 周 题 书信 从 未 解决 ， 上 甚至 于 还 没有 超过 定 其 体 的 方法 (如 
$19 所 示 的 Hamming-Golay WA) 。 
本 部 下 面 根据 不 同 观点 计 沦 能 制 正 及 检 出 错误 的 全 组。 
819 X240 MURIR X 
ÜE PLE E A SARRE, FUE BEER 有 趣 的 性 质 ， 
从 信息 论 的 观点 加 以 引用 开 寻 由 现 在 Shannon. 的 文献 中 四 ,还 有 
Hamming H, iat Golay 推广 了 so。 
KEA n HEEBREA 2" 个 , 把 其 中 相互 保持 某 一 指 
Je asi PE d (为 奇数 ) 以 上 的 下 个 码 抽 出 之 后 , 所 余下 的 
(Qn — M) ^ Bip XE 855 hi a. M A p EE S8 y BE S e 
OFT 六 FF, 一 般 地 二 ,对 于 任 -一 码 痢 有 《了 以 上 距离 的 三 是 存 
在 的 。 但 在 特殊 情况 下 具有 .上 迟 最 后 性 质 的 码 全 不 存在 也 是 可 能 
iy, By (2 — M) 个 码 痢 与 每 一 个 抽出 去 的 ML 个 码 之 阿 的 距离 小 于 


23i. IEAS, Golay S253 d 4 (loseless code) 。 

定理 19.1 长 度 为 % 一 2* 一 1(a 是 下 整数) 的 租 积 码 ,2 一 1 一 a 
fU f DER a 位 的 监督 位 罗 之 辣 的 一 致 监督 短 障 (yy) Ets 
臣 . 和 ,是 空 个 < 位 数 的 二 进 数 排列 车 把 含有 一 个 工 以 下 的 二 进 
RS ARGAE 3. 而 月 是 无 多 余 码 组 。 

在 证 明之 前 先 举 一 例 说 明定 理 的 含义 ,者 a 一 8; 三 位 二 进位 数 
IAPA, (000), (001), (010), (100), (L10), (102) , (012) ; 
A11), 除 前 四 个 含有 一 个 及 下 的 1 外, 余下 四 个 ， 依 下 法 将 二 进 
数字 纵向 排列 ,得 ` 


1101 
Qu =| 1011 小 (19.1) 
0111 


74 x HOR AREA R 
Hh PEARBI, Jr Fr 8.O AREE KE QR 2 一 1 一 3 一 4 位 的 信 
息 位 置 ,例如 对 于 消息 (000D , (0110) ,分 别 得 到 租 炽 三 (0001111)， 
(0110110) 。 
A 首先 由 2"—a—1 售 一 进位 数 的 信息 位 证 中 选取 两 个 任意 二 进位 
Be 它们 中 了 间 焉 少 有 一 位 以 上 的 不 同 数字 。 先 役 只 有 一 位 不 向 关 字 。 一 个 二 
进位 数 为 0, 另 一 个 一 进位 数 为 了 . 位 矩 隙 (19 .下 的 纵 列 至 少 含有 2 个 以 于 的 
1, 把 前 一 个 二 进位 教 对 让 的 监督 位 置 与 后 -- 个 二 进位 数 对 应 的 监督 位 置 的 
数 比 较 -- 下 ,有 两 个 以 上 的 数字 是 不 问 的 。 信 息 位 置 的 两 个 码 距 离 为 1, 再 包 
括 监 督 位 转 企 内 最 短 趾 高 为 3 以 上 , JURE B. BEER Le D BUR PS 
不 同 数字 。 上 其 所 对 应 的 监督 位 置 的 数字 章 的 距 高 , 稍 加 考虑 易 知 它 等 于 短 障 
(19.1) 中 两 位 数 不 同 的 纵 列 所 表示 的 二 进位 数 湖 的 距离 ， 这 个 距离 为 工 以 
七 ,信息 位 置 与 监督 依 蔷 全 在 一 起 保 就 4=3, DIL ERE T KUEUSR ERU DEAE 
2g 8, HAEE RIK, A TREL -AER L AARAA 
数 为 工 r (771) 2r, MERHAR CU M 27-771. ERA 
TE—REBLS SMS: 1 GEY 22-a, hK 
Hg 27 — 1, ARA KHERI EOS EAT Uy 2 ~1, 这 与 上 面 计 算 的 个 数 和 是 
一 激 的 ， 从 而 这 个 码 粗 是 无 多 祭 码 组 。 杰 邹 以 长 度 为 23-1 的 码 作 为 整个 空 
妆 , 将 不 组 内 码 之 闭 距 离 为 硅 的 子 空间 对 个 碘 全 部 除 挤 , 变 成 最 紧密 的 友 粗 。 
这 个 定理 中 的 码 租 称 为 Hamming-Golay SEL, ZERRE . 
时 ,为 了 简单 ,使 用 了 二 元 码 , 若 p 为 质数 , 则 还 可 以 推广 到 进位 
数 的 情形 **。Goliy PREH ES RRRA 75 的 情形 ， 


其 必要 条 件 为 二 项 式 展开 的 最 初 几 个 洒 数 之 和 澡 (?) 怡 好 是 2 
ESSE BEC BER n 90 时 ,最 初 三 项 和 为 25, mn 一 8 时 最 初 四 项 
和 为 29, 前 者 由 群 的 性 质 不 能 得 到 无 多 余 到 组 ,后 者 如 表 19.1 
—EHSSESIRAEIILASEE ROS T IGUAL 12 fE, 
dera 11 位 。 

Golay REI d Jo 5 7L ERE ice, E AMORE TE T E 
A, EIER IRSE ASIN. E Lloyd BERT GR 


$19 TERMAR 75 
GERLHLRG, Re 107? 以 下 时 ,保持 de ,7,9 表 9.1 
ROG DIR AIRE fe fe" 信息 位 置 
在 定理 19.1 内 a~8 的 情况 下 , 旗 粮 奖 内 F onoo 
“信息 位 置 与 监督 位 置 适 当地 换 一 下 , 则 在 接收 101013011001 


Ti i4 3t Kcbt Men BEI SE SR UIDERI OU oiu 
RREK, igh Hamming PRR, gt je di00rídorio 
二 元 码 第 :位 数 为 wm 监督 位 时 的 数字 可 由 代 ap | 110101110001 
310130011010 
EPE me re er MEM >o. V | 12001010110 
252285 O ts (D tr, 112010100011 
o 111100001101 
mts Ð te D a, | a9.2) oiii 

B= D we CD 9x. 


接收 蟾 收 到 二 元 码 ,yz，… 97) 时 ,计算 下 列 三 个 数字 : 
iny O ys D ys D yi, 
£y. D ys Oy C ys, 
=y C ys CD ys Dyr, » 

£s En, Ea FA Be IEEE I e ES TE SORS SETTE. CINE (000) 

SCRECH AR, Dine H 1100110) 时 ,第 三 位 数字 因 受 到 噪音 的 

干扰 出 现 为 1 此 时 接收 到 的 信号 为 (110110) , 由 (19.8) SERERE 

&=0, &a=l, 名 一 1, 二 进位 数 013 为 3. 这 表示 第 三 个 数字 争 了 ， 

改 为 0 就 好 了 。 

mL Mi Ll. E 40122 RE 
BRISSEEEREHOR, WEHR, TEHER, RAA 
值 ,如 能 适当 地 扩大 , HERM ERRERRHRK, 这 种 特殊 的 组 
绫 码 很 实用 ,应 加 以 注意 。 

定理 19.1 的 Hamming-Golay 码 组 ,可 以 推广 到 最 短 距离 为 
3 以 上 的 情况 。 但 这 不 一 定 是 泡 多 余 码 租 ， 下 一 委 的 后 全 使 来 讲 
RAAE, 


(19.8) 


76 ok ARTEA EE NRE 


890 JEES RAKIA 


FEAR 3625 — E W'HRLRRCUS Jr Ri 5 EI TE 4e eb ALES 
殊 的 情况 ,以 后 将 可 看 到 ,没有 此 种 性 质 的 倒是 大 多 数 。 此 种 不 一 
AE JE JG Ag e US MLIATREL RII 77 Jk Mullor 68$] ^ 名 及 819 Hamming- 
Golay iS3H P4) 9", Brio P 1 BERCRCHUCIC HB ERI 1 02, ui 
Muller 8j iie 4MJRSERI E AVRR IIBER 


对 于 两 数 Ep 个 下 相 独立 的 还 辑 变数 X. Xs, X, HERR 


Boole wg 可 以 写成 下 刘 加 法 标准 形式 ( 套 看 计算 机 的 Boole £t 
Eo: 


FS Xe xt, (80.1) 
其 中 把 ;用 二 进位 数 展开 (% 取 0 或 力 , 得 
j= Eas (20.8) 


且 当 igol it XPX,d4-08 Xem En (Xr RIRE) o (20.1) 
AHM E 为 模 2 的 加 法 {普通 Boole AUBCABISGRESERD 。 此 时 以 最 
KBI R X; 以 2 为 模 的 和 X,-IOX, 代替 (20.1) 中 的 各， 
JUL /为 只 用 Xs 表示 的 两 数 : 

f 9l Lg X Dga X DUX D-gamma] 


Pig XX DIX X DJ XX: sD garara > 


Dlg Xa X], (20.8) 
上 式 为 了 的 多 项 式 展开 ， 有 系数 g 取 0 或 1, 这 个 展开 式 的 演算 如 
车 变数 wv 分别 表 示 成 二 进位 数 : 
U= (Us 5, 7 183) ， 


U= (Vo, 1, rn 013), 


$20 PEERAA 77 


其 中 w, v 取 值 0 或 1。(20.3) pif “O” 定义 为 
uo (uso, UDr y Dei) y 


系数 gs 的 乘法 规定 为 
gu — (flo, gu， gii) y 
又 积 为 Mp 一 (tgo, WV 1081 u 


此 处 Xu Xas ns Xp EI JE MER Xa 为 0 及 工 的 交 鲁 排 
Aj, Xo X 00 及 11 BUZEBEBERI XV 48 2 A0 E 293 410 
AISEA, I gh 20 个 工 的 排 烈 , 0 RUE 2" 个 0 的 排列 : 

X, (01010101.-..-.1) , 

Xam (00110011-...1) , 

Xs (00001111...) , P 


I = AHIL), 
O = (00000000……0) , : 
于 是 当 (20.8) 式 中 取 go=gs= 工 以 及 其 他 的 gs BARN, FIO 
XiX, 可 宸 东 为 (I1101110-…1110)。 . 
此 时 展开 式 (20.3) 中 含有 7 个 以 下 的 变数 的 积 的 诸 项 所 成 了 
资 多项式 中 ， 一 切 以 0 及 工 为 系数 的 此 种 多 项 式 的 集合 称 为 选辑 
变数 的 4d 阶 网 (net of order d) , 而 d—2^—. 
定理 230.1 Eben, r’, o, cS dR, 其 中 任意 两 个 
TKr R r ERER, ej BEREASERBDS d 27 DL E, 
EA 可 用 归 业 法 来 瑟 明 。p= 工 时 ， 因 为 X= (0D ,由 (20.3) 得 
7 一 007 O9 Xs, 属于 2 阶 网 的 元 素 90, go=1 分 别 对 应 浇 (00) , (11), Z 
一 阶 网 的 元 素 为 (00) , (0) , (10) , (11) ,因此 能 满足 定 更 。 其 次 股 p nf, 
假定 对 一 切 4 定理 者 成立, 现 在 要 省 阴 对 p=k+1 也 成立 。 由 (20.3) 容 易 知 
道 ,车 任 意 两 元 素 + Eon! RF d 阶 网 , 则 由 +f' 狼 +/ 二 由 而 得 到 的 元 来 ?也 属 
于 同一 网 。 从 而 r r PARIER, L Cri, 1 表示 时 ,得 
Liri, r) =L(r'® ri, 0) -L(, 0), 
RGNIEJE O 的 r TEN, BWE LO, O d SET, Br El S3 
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SERERE STER 

rf1 B Xrafs. , Q0. 
deb Sa e Sa e k MBAREK Sa ih (20.4 的 Xas Xas …， X 的 性 
质 容易 知道 是 4/2 MATR h 2* PRR BIRAR a2 
A MATR Oh D MAEPS PI SCREHIERPITHR 20 TU REM TOREM 
(9) RAA 0, ME I-A. FiPULIH T ARRERA, TE 
neo Xifis XiafiX Rra f 分 别 为 用 中 个 数字 所 成 的 a/2 阶 
网 的 元 来 及 24 O DN ATS L Xen 六 10) >@/2; LO fis 0) 4/2, 

Xa fi oa fefe FI BNET RENDER T, 故 得 
LGhO)ITLGQafu O tLGaAO A. 20.6) 


W 3 £128 O, HIE n — Nia fa i 
L(Xryfa O) >d, (20.7) 

(0) RES BSa WERO, BHfiofa, 则 得 
FI — fa Xia fy= Xia foy (20.8) 

于 是 
L(Xyas /5) 0) 2d, (20.9) 
(Q) RE fi FA MEEO, B fita 

T=f1@ Xr fa Xna fO Xir fa, (20.10) 


法 中 因为 fo fa BIA f= fik fa TI O, 是 d/2 阶 网 的 两 个 元 素 的 排列 。 从 
Và LO fis 0) 7/2, X pk HERRI, M (Xr fas 0) >4/2 成 
立 ?* 于 是 得 LG, 0) d, 

由 此 定理 得 由 具有 最 短 距 奖 为 2, 长 度 为 2 的 三 组 。 这 个 
码 秀 内 码 的 个 数 , 可 由 d 阶 网 内 (20.3) 式 的 系数 gc 的 个 数 肝 算得 

220, (20.1) ' 

这 个 码 租 不 是 前 一 节 的 无 多 余 码 租 ， 也 不 一 定 是 最 紧密 的 码 租 。 
除 & 阶 网 的 码 以 外 ， 有 有 时 存在 与 这 些 码 的 距离 为 以 上 的 码 。 
=, 2771, 25 p3g 4, 2 工时 ,网 以 外 那样 的 硒 不 存在 , 除 此 以 外 
Wa d 值 , 当 ? 夫 大 时 ,多 中 存在 绪 样 的 码 。 用 电子 计算 机 检查 的 精 
B, p~b, 4~8 时 不 存在 , p 一 6 时 存在 。 对 于 上 比 这 定理 有 更 多 沽 
的 辐 码 法 ,由 此 定理 的 改进 ,还 能 作出 比 (20.5) 多 一 些 的 码 !。 


"eed 


uem 
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SA EEEE AE TEALA DU GA A- EREET 
PT 368,22 (2) REIRE ao; oo da =, ap; aa 
pp RS DMA 
在 自然 数 工 2，3，…，, 了 之 中 选择 7 ATREA a ETA 
Ji. IRE, KEPER Danses biaosay ri …3 Brag 为 由 自 
然 数 1, 2,…， p ETR 十 工 个 以 上 的 数 作为 8 的 右 下 方 足 标 ,监督 


位 置 的 位 数 兴 -È (D). 其 次 , Dua, BP dem a 或 5 的 右 下 


足 标 有 了 个 自然 数 , 叉 当 含 在 = 的 一 切 自 然 数 都 在 8 内 时 写作 
“8， 而 0 则 规 定 合 在 一 切 8 内 。 个 以 D5 表示 1 当 (07577) 
39, de o4 (777571) 为 偶 , 在 定理 20.1 的 组 炽 码 扯 中 ， 
08 .全 对 上 述 可 能 的 8 得 表示 式 如 下 : 

BP- D Da G-neloeen e. p). (20.12) 


此 处 和 都 是 以 2 为 模 的 加 法 运算 ， 且 关于 a 的 和 是 对 由 构成 8 的 
j 个 自然 数 中 选择 一 切 可 能 的 $ 个 自然 数 形成 向 a 进行 运算 。 例 
如 B=1846 时 ,对 于 a 的 和 在 $4~2 时 得 

Bie ras Dan Gas Qus B ass Bont. 

再 例如 2 一 3 时 ， 发 X,— (01010101), Xa= (00110011) , 
Kam (00001111) , T= (NNT) , 剧 一 次 多 项 式 gI OpX D 
JsX 4 iX a Jy de 971 — ADHI, K Jos D, Jas 94 的 一 切 租 合 
3E 2* ^e, RERE, 3X 16 个 二 元 码 租 的 最 短 距 离 为 4。 例 如 
go dl 9a 一 94 一 0 i, IDX: 网 的 元 素 为 (11001100) 。 其 次 
银 述 一 下 一 私 监 督 法 期 。 信 息 位 置 的 系数 % 有 4 个 ,位 数 为 4; 用 
了 上访 的 表示 法 车 有 do. ai, aa, aa, MERHER aias asa, ain Gar 
为 四 位 数 。 例 如 因 Dis Disi, 所 以 bue as， 各 此 得 
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出 相当 于 (18 .人 的 一 致 监督 短 阵 为 
»/ 0111 
1011 
i101 |* 
* 1110 : a: 
Se ARER E KE EESE RIIE RE, HEB 
Rück Bi ra fA E [EU SEE E EISER BASS Pa 
KERERE UER, ARRABA MR, KETE REEE 
AMR EE ER RS A ERAIN (majority test), 
可 以 考虑 定 还 20.1 PLR, 
Hamming-Golay BARF 4&0 Slepian 推广 过 04。 'EAR-- 
定 是 光 多 余 码 粗 ， 它 是 在 同样 长 废 必 同样 信息 位 置 的 位 数 中 错误 
概率 最 小 的 三 组 。 屁 可 以 刺 正 两 个 数字 的 鲁 避 。 
定理 20.2 当 监 督 位 置 的 位 数 为 c, 选 择 信 息 位 置 的 位 数 天 为 


iso (2). (20.18) 
其 中 码 长 为 mn 一 二 ac。 作 一 致 监督 甜 障 (18.4) 如 下 : 第 1 列 由 a 
个 工 排列 而 成 ,第 2 列 以 下 为 恰好 合 有 a 一 1 个 1 的 a 位 的 二 进位 
B a 种 排列 ,再 以 下 的 列 为 含有 a 一 2 个 1 的 a 位 的 二 进位 数 共 
(名 ) 种 排列 , 再 以 下 要 下 去 出 现 愉 好 上 列 a 行 。 自 让 种 一 至 监督 
短 阵 选 出 的 二 元 组 积食 当 ”>2* 一 工时 ， HER HECHO GU A 
一 1 种 制 正方 法 , 若 
2 一 六 (3) nl, (20.14) 
RUNI —^4-EcklSSSIRESRE E , HREBENE, RT 
2 一 1 一 n 种 币 正 方法 。 
醛 明 可 以 参看 文献 [83] 的 2.7 节 。 在 (20.14) 式 内 , 当 n 一 2 一 I 
时 邹 变 成 上 一 节 的 Hamming-Golay 码 。 


了 


$21 HEIDE He REA e HORIS I PA sı 


$21 RANEE A 435 ERRAI DI 


到 前 节 为 止 ,讨论 了 特殊 情况 下 的 粗 积 三 构成 法 ,本 节 将 讨论 
这 种 租 帮 友 粗 在 接收 之 后 能 利 下 或 恰 出 错误 的 话 码 方法 ， 并 且 倒 
可不 容易 纳入 系统 理 葡 的 小 %, 五 值 的 组 积 码 构成 法 二 。 

合 长 度 为 ,信息 位 置 的 位 数 为 上 的 粗 织 码 粗 所 属 的 二 元 码 
为 

A1=0= (0, 0,……, 0), Aa, Ary da 

ORT. KEH n BILER 2^ 4- OREA B, RS) 由 
(18.3) 的 精 合 法 划 作 成 一 个 Abel 群 , 易 知 以 上 的 Ar, Aa, 4 
为 这 个 群 的 一 个 子 群 。 从 而 群 B 可 以 由 这 些 子 群 作 陪 集 (Qoset， 
亦 称 副 群 ) 的 展开 , 即 


O, An As, c Ap 

B, Sas Sada, Sade, c SA, (21.0) 
Ss, Seda, SaAs, + SA, 
Sos Bodan, Sodes s BLA, 


其 中 uo 2*, ve, Æ ERAR, B 的 任意 元 于 不 会 出 现 两 
次 ,而 且 B. 的 一 切 元 素 都 出 现 。 第 一 行 以 外 的 行 称 为 陪 集 。 这 个 
B. 的 元 素 排列 中 第 全 列 的 元 素 Ses Ss, …, SL 称 为 陪 集 首 项 
《Ooset leader) 。 陪 集 首 项 中 的 任意 元 来 换 以 路 集中 任 一 元 素 , 仍 
得 到 相同 的 陪 集 。 例 如 第 纪行 的 陪 和 集 首 项 为 So 对 应 的 第 行 陪 
EJI Sis DiAa, c, Bus TIA SUA, PORE SEO PETIERE, RID 
4E Siân, (S143) Aa, (Sida) Aa, n, (MAr) 4， 这 与 第 5 行 陪 集 的 
元 素 ， 除 顺 岸 不 同 之 外 ， 是 相同 的 。 从 而 可 以 取 骇 陪 集中 〈 即 这 
-- 行 元 索 中 ) & 1 的 个 数 最 少 的 码 作为 陪 集 首 项 。 例 各 (0000) , 
(1100) ，(0011) ，(1111) 是 最 短 距 元 为 2 的 粗 积 码 粗 ， 展 开 为 陪 
集 得 
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0000 1100 0011 1111 

1010 0110 1001 0101 

1110 0010 1101 0001 

1000 0100 1011 0111 
在 陪 集 首 项 中 换 成 舍 工 最 少 的 码 , 得 

0000 1100 0011 1111 

1010 0110 1001 0101 

0010 1110 0001 1101 

1000 0100 1011 OT1T 

信道 上 , 传 运 第 一 行 码 租 中 任 一 码 时 , ERRATE, 发 生 
错 浊 的 个 数 在 最 短 距 离 以 下 ， 凤 这 个 儒 可 以 接收 陪 集 中 的 僵 。 S$ 
观 数字 的 个 数 比 此 还 多 时 ,可 以 转变 到 码 租 中 的 其 他 码 。 MLARNE 
TER (18.4) 那样 的 一 致 鉴 撑 法 则 由 信息 位 置 的 数字 决定 监督 位 朋 
的 数字 , 作成 与 消息 对 应 的 码 FP 发 出 去 。 搂 收 端 收 到 信息 位 置 的 
码 时 ， 由 位 数字 用 相同 的 一 致 监督 法 出 与 监督 位 置 所 对 应 的 数 
字 上 比较 ,一 致 时 写作 0, AS ECHAEHEE 1, 和 如 此 作成 的 m 一 b 位 二 进 
位 数 叫做 对 应 于 忆 的 一 数 监 督 数 (parity check number) , 以 
(PF) 表 之 。 例 如 以 下 要 叙述 的 《21.8) 的 隧 集 展开 三 租 的 一 致 监 
BEH ama, =a D aa, 当 伟 汉 三 (1110) 时 ,车 第 二 个 数字 
错误 地 收 为 0, 接收 码 为 《1010) 。 由 偏 息 位 诅 的 数字 计算 得 第 三 
与 第 四 个 数字 分 别 是 0, 1,， 因 为 对 于 接收 码 为 东 , 0, 故 与 此 码 对 
应 的 一 致 监督 8() 为 31, 
定理 对 .1 在 作出 长 度 为 n R O, Aa, -s AL 的 障 

集 展开 (21.) 时 ,车 任意 两 个 码 FP,， Fa 属于 同一 行 ， 则 相同 的 一 
至 监督 法 则 作成 的 一 致 监督 数 @(P:) 2 QUAS) 是 相等 的 。 又 陪 集 
HIA Q (O) 可 以 按 整 数 % 一 1 的 二 进位 数 吉 示 吐 样 的 肚 序 状 列 。 例 
如 


(21.2) 


$21 REHE D 7] e HENTAI ERI OU A $8 
0000 1011 0101 1110 
0100 1111 0001 . 1010 
0010 1001 orli 1100 
1000 0011. i101 0110 
上 列 陪 集 展 开 码 粗 的 一 致 监督 法 剧 是 se 一 @， aa =a 四 aa 这 个 排 
列 中 ,第 二 行内 的 码 肯 适合 sa = ai 的 一 致 监督 ,但 不 满足 cs 一 arGoa 
的 一 臻 监督。 第 二 行 的 一 至 监督 数 为 01; 第 三 、 第 四 行 分 别 为 10， 
如 ,但 第 一 行 印 码 粗 办 码 所 对 应 的 一 狼 监 督 数 自然 是 00。 从 而 一 
至 监督 数 及 陪 集 首 项 之 间 有 下 刻 的 对 应 关系 : 
00 — 0000 = S, 
01 -> 0100 =S 
10 — 0010 = S, 
11— 1000-8,, 
关于 这 个 定理 的 姓 明 ， 首 先 看 群 B PERD IER Cot RENEE 
的 一 至 监督 数 ， 乃 是 由 原来 两 个 三 所 对 应 的 一 琢 监 督 数 以 2 为 模 相 加 而 得 。 
从 而 同一 行 的 码 , 亦 邹 同 一 障 集 的 碍 有 相同 的 一 致 监督 数 。 因 为 三 0, Aay y 
和 .的 一 至 监督 数 为 00…0, 陪 集 Siy Sida …，S4 A, 的 友 的 一 到 监督 数 都 是 
QSD. HAMRI (21.2) 为 有 2- FERE Ba, 其 信息 位 置 有 上 位 都 是 
FEGI D-E A, RTE 4 一 大 位 监督 位 置 的 数字 从 好 是 一 致 监督 数 , 所 以 
这 些 阳 各 行 分 瓜 一 个 使 成 为 障 集 首 项 ,各 行 作 适 当 恶 整 郎 得 定理 21.I. 
由 此 定理 ,就 可 币 正 接收 码 的 错 避 ,再 按 下 烈 方 法 还 原 成 原来 
的 发 射 码 。 假定 接收 码 为 群 B, 中 的 F. 由 一 致 监督 算 阵 的 信息 
位 置 及 监督 位 置 秆 算出 一 致 监督 数 @(Z)， 于 是 得 到 陪 集 首 项 设 
为 8。 由 此 再 作 && 四 束 ， 即 还 原 成 原来 的 码 。 换 莹 之 ， 当 好 出 现 
在 陪 集 屡 开 (21. 了 0) 的 第 2 刘 时 ,断定 发 射 码 为 41。 这 种 诅 码 法 , 因 
为 是 一 至 监督 短 重 构成 的 码 ， 可 以 证 明 是 错误 最 少 最 准确 的 部 码 
方法 。 
设 数字 0 正确 地 接收 为 0 BOEEN q, 办 噪 普 的 干扰 而 错失 


(21.8) 


34 LIEN DD EDT d 

地 接收 为 工 的 概率 为 2= 工 -9, 对 于 数字 工 候 定 完全 是 对 称 的 , 朗 
正确 接收 概率 为 4, 错误 楼 收 概率 为 p， 当 陪 集 首 项 避 中 含有 w 
个 1 时 ,这 个 衣 码 法 正确 还 原 出 原来 码 的 概率 为 


p r+" E (21.4) 
当 有 a 个 陪 集 首 戎 含有 个 工时 ,上 式 可 以 写成 
Pe -总 au p q^, (21.5) 
此 外 ,很 容易 得 出 
» -5 a2 2 (21.6) 
及 
a<(?). (21.7) 


这 个 at 舍 有 重要 的 意义 。 若 接收 码 与 发 射 码 4 有 8 个 不 同 的 
数字 , Bl AF —S 中 含有 8 NI. AT a rte S P A 
下 二 重 错误 的 个 数 。 : 
36 21.1 AUT 26 o 1 P CR LIN, 使 ps 为 最 大 可 能 值 的 
为 了 参 券 , 亦 列 电 二 项 式 的 条 数 (了 )， 例 如 n-11, k-4 的 
AIRES, EUREKIN p, — 9" 1199 p-- 66g? p 01 g* p, 此 
W'HLPLEDE — 1 EUR AAR NERA FERA, 
dE 21.2 RUE TEAM RE WARE- KED Hh. iin 
n—-11, £—4 HRES, Zu serh BOR BS 5,6,7,8,9,10, 11 个 数 
Se HeBHICUE (8 EGLI M 1, 2, 3, 4 个 数字 四 位 数 构成 。 第 5 
Alias ai 23, 第 6 NEEN aeaa Das e. SS eb Bo 
7 的 呈 和 大 值 相对 应 的 为 最 佳 组 积 体 。 换 车 之 ， 在 此 表 中 出 现 -至 
监督 法 其 以外, 没有 其 他 正确 接收 概率 p, JE KELE EXA 
琢 中 ,对 寺 所 答 的 和 值 ,可 以 用 电子 计算 机 进行 计算 。 制 作 这 


11 


如 PP re mmo WWHO NHO 


Dob 


125 MLAGREDERISLE UM HERI SAN DI 
X211 


EI PI 


sou 


we 


a 


oon 


a 


cu 


e LI 


-Em 


eu 


EI 


wn 


58 50 $m AEEA e rto 
3 91.2 ”一致 监督 法 划 
7 


MÉ s | 4 6 
4 [8 t T 
4m] i . 
312 jaa 
5 |a2 loia 
51 
a2 |a |5193 i | 
e | 413 |533 |6124 i 
5) em | | f 
01 | | 


72 
812 |9123 
912 


i 
8 4l 584 61945 713485 |8134 91 
41 ,62 |6123 |71245 181245 |9124 101 


1o |92 |712 [aiga |91234  |1019346 


912 |10128 
i012 
3i 43 518 718456 |81345 9184 
41 i58  |024 812456 912457  |10124 
5i jez |714 912856 |1012356 |11128 
62 713 |823 1013346 | 11123467 

li |72 [813 |9134 1112345 


1012 | 11123 
1112 
81 4i 818406 |91285678 
41 52 į 912456 1012346 
51 |68 20123587 | 1112467 
61 |712 11138467| 1910408 
13 |72 js 11128457 

1913 
92 |1028 
102 |11128 


301 
nmt 


10123| 111 
11124| 121 
12184 


$22 3p Rp up 87 


Jit, Slepian 漆 出 一 个 重要 事实 ， 妇 以 p HRANITE, 
不 一 定 是 最 短 距 离 为 最 大 的 组 炽 码 。 例 如 ,家 24.2 rr n—7, k-8 
BALARISI EE 385 25 8. 但 a4 a; Das, 5 0: Daa, ao a CD 
Gs, 4: = CD a5 D as. f 25 — Et VECES DUI Ert KE ARAR EES AT Me XO IE BE 
29 4. AEJERI ETE edi IPTBERECAC.— 从 而 最 短 距 离 的 考虑 与 最 佳 
码 的 构成 没有 站 接 关 系 。 


$22 JF EE m iB 


REKA n, 一 部 分 完 长 数字 的 位 数 为 n 一 #, 它 的 n 一 位 不 C 
一 定 是 由 一 数 鉴 督 法 则 所 粉 与 的 码 ， 即 不 由 (18.3) 的 结合 法 出所 
成 的 群 辜 是 不 是 一 种 优秀 的 码 粗 还 是 疝 题 。 这 问题 还 未 解决 ， 
Slepian 研究 了 直到 % 一 30, k=30 Jy tlf n d E ERR de. TEAM 
情况 下 确定 了 最 佳 租 粮 硝 。 

但 是 对 于 生意 的 % 和 上 的 最 佳 码 租 井 不 保证 必须 是 粗粮 码 。 
怎样 构成 此 种 非 斜 码 , 还 不 很 清楚 ,目前 这 种 研究 很 不 能 。 本 节 计 
竟 当 最 短 上 距 离 彼 指定 时 的 关于 玛 组 内 码 的 个 数 的 上 限 的 Muller 
定理 ,并 叙述 Plotkin 用 绪 数 险 疯 点 的 报到 法 作为 桔 束 。 

首先 ,把 Muller 定理 葡 证 如 下 。 

ERRI 长 度 为 n, 具有 最 短 距离 忆 的 二 元 码 租 含有 的 
二 元 码 的 个 数 , 当 4>m/2 时 ,不 大 于 2n, 25 d>n/2 时 ,二 元 码 的 
PERKE n+, 

E ERTE a 以 


f G= (dy 91 77, 0,3) (22.1) 
表示 时 , 施 以 坐标 变换 
A= (722) / v^ 22.2) 
HRE A: 
Am (Ag, A, n Ae). (22.8) 
朗 所 施 之 变换 为 当 a — 0 时 ，4i= 1// np aim Rp, Ap lm, MIR 
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Sia» (22.4) 


th (22. D BERCTS —JOREAR Cr ARETES U Z, MUR 2-0 fct 
集合 以 上 Sc MAU ODKAZ BAREV 内 。 

BEU ERISA a in o, REDE (22.2) 后 得 4 和 B, danh, RI 
$3 AS 0, Bakdo REL TABL, 从 而 = 和 ?之 间 的 距离 
G8. 多 为 


L(a, b) =t ( zx Sis») 5 (22.5) 


FERF AMEH Lla, D> 2. TSR S AL Bi< 0， 而 条件 Lia, b> 2 
"Tacna S1 A eso. 

RUAMEUEREREB U 内 技 到 ? AMI rts s ey rts HA 时 满足 条 
He L(rl, PP) on/2, RRE 22.2) BUR Ft, T, o, RI ER 

Sin Bine | (22.6) 

AREE RR DUSUEDR M, BIA IE rV PERNIL S) 4B RETE, F 
e02.0 MC, RAZ Ele AB 时 ， 因 Ane aar, ro nnt, 
A'(P)* CAM BM)* - AMM*B*, ABIR M JEWEBI, MC 为 单位 短 陈 ， 
HANBA" - ADS 

di JE V BERMES Y", 使 (E= (1, O, 0，… O) rici TRES, D 
HZ EERE M Bk RO 这 为 (15 0,0, 0), HEAEPUSISI M PEIRAS: 


Ri Ri " 
TAS 了 0 0 0 0 
` RO R 
* E 0 0 0 0 
M=| 0 0 1 0 0 o 
0 0 0 1 0 o 
0 0 0 0 1 0 
ò à 6 à à i 
dep a- ORE dia, 


AR R 乘 以 Ma EE T, 外 ,其 他 华 标 不 变 , REOS A, REH OO, R 


$322 3b E 5 0 89 
样 作 Ma 使 Ej, BIE, TEE RIHO, WAJER M MM, 
Maa de RO HeRA OU 0, 0, 0, …，0) ， 仿 把 (29)' 由 RRA, EON 会 
EAW H HRE T 0, 0，…， 9) 含 在 下 内 时 ,把 它 由 VI ht tE 
CF. PEA V 内 剩余 的 矢 是 第 - -学 标 分 量 为 Sap =(=. 
G0, JEER. (B), QU) de V! hei RH 


Serp <o 


可 写作 
(BD' (RD) Sr RD'(RD' <0, (22.7) 
GRE. Gi "都 不 是 正 的; (22.7) 的 第 一 项 非 负 ,从 而 
Sieb "Eyo, (22.8) 


FRED V' Mb. AER, AEV D ! 个 或 两 矢量 , 在 V" ARRE (22.6) 可 改写 
为 (22.8), ilte n -1 时 ,条件 (23.4) 不 按 原来 的 样子 成 立 , V' RIFI 
那 一 个 矢量 乘 以 - 常数 使 (32, 少 成 立时 并 不 影响 (22.8) 的 减 立 。 从 而 及 后 
n—1 Hz 0 的 商量 由 TV" 中 法 护 移 汉 TV. 中 去 , 亦 妈 总 可 能 使 矢量 规 炸 化 。 
对 ”- 工 程 的 V' 重复 进行 以 上 步 屋 ,得 到 V". 在 每 一 过 程 中 最 多 使 增加 
两 个 矢量 ,但 个 原来 的 集合 践 少 一 -个 稚 数 。” 次 操作 之 后 ,有 Y 个 矢量 移 到 全 
法 ,所 以 Y 不 大 于 2n. 
定理 后 - " 咎 的 配 明 与 .一 个 的 方法 相同 ,其 申 使 用 了 条 件 

Seino, (22.9) 
HIRE L, 0, 0, -3 00 6 C71, 0, 0, …，9) 同 时 移 到 W Bj, (22.9) 
能 成 立 ,在 六 中 不 剩 下 任何 矢 景 。 从 而 在 最 后 -一 次 操作 之 前 ,每 加 上 只 移 到 W 
中 - -个 矢量 ,最 后 一 葡 有 两 个 矢量 移 到 W de, F 不 再 剩 下 任何 矢量 。 妇 7 不 
XYnl, 


这 个 Muller 5E SUFRE 05 HA (18.8) 构成 群 硒 或 是 
ERN, 郑 答 出 了 上限。 二 元 码 为 2% 时 , de n/2 是 整数 ; 从 而 至 
少 可 以 知道 码 长 % 必须 是 偶数 。 定 再 20 的 网 -- 工 即 最 短 距离 
de 2/7 时 选 的 码 糙 , 以 及 以 下 将 义 述 的 Plotkin AL, HE jo 
理 的 实现 。 
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其 次 来 叙述 整数 论 的 Plotkin 码 租 的 构成 法 “。 基 他 与 此 类 
似 的 方法 也 已 经 知道 ' 串 ， 此 处 以 Plotkin 方法 作为 例 鞍 。 它 与 到 
BEJ IE Bolo A R8. FE (18.8) idee pU E UTR SR LIBRE 
租 。 

定理 器.2 当 码 长 为 m% 最 短 距 离 指定 为 w2 时 , 若 nom, 
H 4m 一 上 为 质数 ,风能 构成 含有 Bm 个 码 的 ， 最 短 距 离 保持 为 2m 
的 码 组 。 š 

为 了 篇 幅 的 限制 ,此 处 只 急 述 它 的 构成 法 。 


由 Format 定理 , gt 9 HMR, H 9 不 部 秘 正 整数 4a 除 尽 , 剧 . 


下 到 公式 成 立 : 

a” t=] (mod 0), {22.10) 
特别 当 9 一 是 满足 上 式 的 最 小 正 指数 时 ,a 称 为 和 的 原始 根 。 例 
和 如 9 一 18, 2 是 原始 根 。 以 13 为 模 , 2 的 同 余 整数 表 如 下 所 示 : 


s|1234567 8 9 n 1 


mj? 4 8 3 6 21 9 51 7 1 


MALENE RERE: 质数 2(>2) 的 原始 根 为 6 时 , 8， 
B*, Bè, 89 分别 是 与 1，2, 8, …,9 一 1 中 某 一 数 以 9 为 模 
的 同 余数 。 此 点 由 上 才 可 以 清楚 地 看 出 。 

此 处 设 为 4 一 1 的 原始 根 。 ER EAO (mod 0) ， 此 外 洲 
存在 整数 7 使 人 ?== (mod 8), MR 二 为 质数 0 的 平方 剩余 。 由 整 
数 葵 知道 ,整数 1, 2,…,9 一 1 恰好 一 御 是 丕 方 剩余 , 即 83, 84,…， 
8 为 4 一 人 的 平方 剩余 。 而 8, 87, o, B41" 不 是 4m 一 1 的 
平方 剩余 。 其 欢 决 定 a: 25 6 JE 4m 一 工 的 平方 剩余 , 序 B2,64, 89， 
ie, B7 AUCI] DCN, 使 4=1, LR EE 4m —1 的 平方 剩 
RÉN B, B’, ^, B7 XE RICH, eO, dim 一 1 
fA 21, 其 次 作 二 元 码 a1, day ama 之 前 ,首先 合 的 第 i 


jM 


$22 jb wt 6 d 8 
DRFA a 的 二 元 码 6-1,2, +, 4m 一 J)， 对 于 j-72,8, 5 
4m 一 a, 是 取 os 的 数字 作 7 一 1 位 的 循环 而 得 的 二 元 码 。 最 后 
A, 是 由 4m 一 1 位 的 二 元 码 & 在 第 4m 位 数字 附加 一 个 0 而 得 。 
4m 个 0 及 4m 邻 1 排 则 而 成 的 二 元 码 分 别 以 0, 了 表示 ,8m 个 二 
TO, I, Aa, Aa, s Aimas Aa CI, ADI, n, Asa DI E 
保持 最 短 距 询 为 2m BASAL, ERN 2m 以 .上 的 证 明 略 去 了 。 
fida m —8, 4m 1—11 (ion, 2 J& 11 RAR, 2;2*,2?, 
e, 229 pL 11 3982915 2, 4, 8,0, 10,9, 7,8, 6, 工 是 同 余数 。 
其 4, 5, 9, 3, 工 是 平 五 剩余 , 3E REJESROE RUAR, 26 i=l, 8,4, 
56,98 2—1, 3£—2,6, 7, 8, 10 时 2=0. 双 2 一 1。 从 而 得 
a= (101110 00101) 
as= (011100 01011) 
45 (111000 10110) 
a= (011011 10001) 
an= (130111 00010) 
由 此 得 4m = 到位 的 最 短 距 离 为 2m=6 fj, Jb 5m —24 4 dm F: 
O= (000000 000000) E 
A,- (101110 001010) 
As= (011100 010110) 


A= (011011 100010) ^ 

Ay (10111 000100) 

I= (AII 111111) 
AI = (010001 110101) 
A®I = (100011 101001) 


kd : ROR VETERE GEARS A 

ADi (400100 011101) 

Au DI = (001000 111011) 
这 个 例子 中 ， Aj G 1,2, 5, 10 Be (15.3) WRA, BAR 
是 人 群 码 。 用 其 他 的 m ARE, MEERE, m - 2 时 
也 可 点 有 与 定理 20.1 的 码 粗 一 致 的 情况 。 


BTH SERT XE 


到 上 冀 为 止 ,讨论 了 高 散 的 通信 系统 ,本 章 将 概述 速 楼 通信 条 
过 的 重要 概念 。 相 略 地 讲 , 此 时 是 把 网 散 的 变数 作 番 微 的 区 间 分 
割 取 其 极限 而 加 以 推广 。 严格 的 理论 要 求 有 抽象 的 高 深 数 学 , 所 
以 要 求 掌握 基本 思想 方法 就 够 了 。 椒 这 没 有 讨论 入 Wiener 预测 
理论 冰 祥 重要 的 问题 , 关于 这 个 问题 , 请 参考 本 丛书 < 随 宙 过 程 的 
应 用 >。 


$93 连 狗 信息 及 噪音 的 表示 » 


LAUNE, UNI (ER TAER ONE DLP MEA EA 
限制 的 。 即 才 永 速 釉 信 息 的 时 间 画 数 f(s) 的 Fourier 45 A Bo i 
ERA Wa 及 Wa ZE, REE, 在 电 通信 技术 上 很 方便 ; 例如 对 
于 人 的 声 普 只 传 迁 8000 赫 以 下 的 频 弄 就 可 能 通 新 ,在 长 距离 通信 
时 ,一 对 重 路 只 传 迁 一 组 会 新 是 不 起 济 的 ,可 以 拒 放 多 会 话 的 频谱 
中 心 -一 -错开 , 德 第 一 个 会 首 占 0 到 8000 Rb, 第 一 个 会 户 占 fa B 
fi E9000 赫 ，… 等 开 相 不 重 达 地 并 掩 在 一 对 缕 路 上传 渤 。 如 果 我 
们 着 暴 于 有 限制 的 频 庙 ， 那 末 速 种 信息 的 时 间 面 数 有 个 有 趣 的 性 
质 。 

定理 23.1 REDDAM fO) AARNE O B W a M, 
Nl f) 可 以 表示 为 


fO» È x, Ser, (28.1) 


其 中 
Xv f(Q/2W), 


M MTR BOURSE 
fo) Rm se BERHEINLIEBORUIAHEHI A DES t 


第 明 Moe. f(t) RILIR Fo) 为 
F (o) «f. f (Qye-iotdt, (23.2) 
BREMA, H o] aW Ri F(a) =0, F (o) 在 一 2z 他 到 2xiy DOE E, RT 
以 展开 成 有 下 列 系数 ax 的 Fourier fig: 
Pe zr]. n F (o) exp( ~i lok) /2W]dv, (23.3) 
HF) Æ f0) 的 Fourier E TEAR E RS FOA 
FOU roja) 


- 1 cid FF iut, 
3]... TO, 


Eerw, 得 
pue F (o)exp Gak/2W )do, (23.4) 


比较 (23,3) 及 (23,4) 式 ,可 得 


1 ,(-k 
e Fn). (23.5) 
HAT = Q/2W), — (1/207) , 0, 1/2T, 2/2T。… 各 样本 点 上 74b) 的 
傅 确 定时 ， MET RE On, HEREZA TA F (o), Fo) 反 过 来 对 
于 每 一 # 的 信 又 决定 了 f(0, MEE W DLEBSSeR, Beas 1/2W $ 
有 关 点 上 的 据 幅 值 时 ,可 以 唯一 地 确定 这 个 玫 数 。 共 次 ,已 知 振幅 时 , 反 过 来 
求 图 数 如 下 
F(u) -Slayexp(aw/2W) , |o] «22W Bf, 
=0 E Jo) >2 Rf, 
MIRER, 4 
=2W ya, Sin s (2Wt +k) 
sesan Ye z(2WiYk) ~ 
E sin x (2ÀWt—&) 
200 72 Gy) Ser awy 3.) 


O aiy EPRISCRIHEROS Nyquiat Dg, 


s 
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BISO 是 以 样本 点 为 中 心 的 ; 峰 信 与 样本 点 上 £0). 的 值 相等 的 sinz/z 型 
WX ZR. 

这 个 定理 在 1935 年 Whittaker de" AHAA (Interpola- 
tary Function Theory) 35/3 EUEUÉE T 3eo815, 最 初 论述 代 息 波形 
与 频 说 关系 的 为 染 谷 ”和 BShannon*h Cca, [eg UE icit e 
Sbannon 的 样本 定理 @。 由 上 列 定 更 知道 ,频带 由 0 到 W. 坎 的 时 
册 画 数 ,只 考虑 它 在 样本 点 .上 的 值 就 够 了 。 摸 叶 之 ,样本 点 上 的 镇 


X7 (or) 可 以 考 虚 为 无 限 亲 空间 的 了 所) 的 坐标 。 已 知 这 给 


坐标 时 , SO 就 可 看 成 在 此 空间 内 的 一 个 已 知 点 。 特别 是 , 如果 
BEBA T 以 外 的 MEAE IKTAR S (O 实质 上 裕 限 定 在 时 间 T 
以 内 。 在 此 情况 下 , Bk 2TW 个 坐标 玉 外 其 他 的 都 是 堵 , 因此 , 频 
带 为 W 及 时 间 限 制 在 以 内 的 画 数 ,相当 于 2TW 闪 空 间 内 的 一 
个 点 。 

信息 瀹 不 是 考虑 某 一 特定 的 画 数 , 而 是 考虑 它们 的 集合 。 加 
是 在 于 集合 中 每 一 而 数 以 什么 概率 出 现 ， 此 时 其 坐标 Xe 考虑 为 
随机 变数 。 葵 定 了 了 AW 的 画 数 集合 , n(-2TW) SE zc LG MG 
六 分 布 密度 Pp (Er, oa …, 0a) 就 确定 了 。 HARTEN T 
内 ， 邹 无 限 长 的 情 刀 下 , 刚 可 考虑 nma, 29, 01, … 无 限 个 样本 点 ， 
f) 如 87 所 述 可 看 做 一 个 随机 过 程 。 但 在 现在 的 情况 下 , mS 
是 离散 值 丽 是 加 稿 值 。 此 时 台历 过 程 可 看 成 离散 情况 的 推广 , 这 
AETHERE RASER A Bir 100 ARRA BEANE BRL ISTE I 
HRE o 

EBEN Ab , MRR f ORR RARR EAR ERAS 


和 ”苏联 科学 院 院 十 B. A. Korertnrkoz ftdt 1933 年 普 先 提出 这 个 定理 ,现在 我 
ARIETE" HK Korsmos 样本 定理 [B. A. Roroxzukom, O nponyexnok enocoó- 
Moct ‘shupa’ x mposoiorz » oreuTpoomaoh, Maepmaxu x 1-My Heeenponowy 
ceaxy no Bonpocax pexomerpyxinr zera onxaw. BBK. 1988 r.] 。-- 校 者 注 


08 ATE SERRA Xe 

MEHLE ABIRE. A0 到 W 赫 带 宽 的 对 信道 有 干扰 作用 
的 噪音 ,实际 上 就 是 在 0 到 W HRA T HERE REB CET 
ABE nO) 完全 可 按 定 理 28.1 展开 ， 只 考虑 1/2W 秒 有 关 的 
样本 点 的 序列 就 够 了 。 HRR TAABI, HRE 
寺 时 间 t 后 不 挛 时 ， 即 随机 读数 ues Tartas s Darten- 的 多 杂 
概率 分 布 密度 与 无 关 时 ,此 过 程 叶 平稳 过 程 。 平稳 过 程 对 任 一 
说 部 是 Gauss 分 布 时 ,这 种 曲 普 时 Gauss 品 音 。 特 别 是 ,随机 
HERE a. uas c 彼此 独立 , 且 都 是 同一 Gauss 分 布 时 , BIHA 
MRE (white noise), BEREBER ERRES, HIRET 
以 通过 和 线性 小 波 器 变 成 Gauss RH, 


$24 速 秆 信道 的 传 轨 速率 及 通信 容量 


HERTHA A W d. 时 间 为 下 种 的 信息 时 间 醒 数 的 集合 ， 
类 定义 它 的 精 。 UNE n 个 相 束 样本 点 上 的 振幅 值 mms, so, 
fy n KERRE Heo 
P (21, Dar 7,2). - (24.1) 
WARED Rh $6 R, ER n RE, 
H'= -am 二 [| P(n,, +, m) log P (p19 -y m) derdo 


( 炳 /自由 度 ) (24.2) 
BHi 1 AHERN. 400 7 代替 ”去 陈 ， NR SHE, mH 
. JUR. BA n- 2TW MA H —2W H', 

TEE ELT, 只 考虑 一 厅 概 率 密度 就 名 了 ,这 个 概率 密 
度 是 中 心 为 0, 方 浅 为 玉 的 Gauss 分 布 ,由 $6 的 (6.17) 可 以 知道 
H'—log 、 /386 (24.3) 

及 
H —W log2reN,. (24.4) 


me 
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反之 ,已 知 均 方 功 素 为 N p, HERRERAN 
全 考虑 束 夸 随从 变数 的 随 本 过 程 的 精 。 在 亢 散 变数 的 情 交 
下 ， 精 与 充分 天 的 代码 序 烈 的 对 数 有 密切 关系 ， 园 样 ， 现 在 的 炳 
与 样本 点 充分 多 时 的 概率 密度 的 对 数 有 关 。 即 当 构 楷 密 度 P, 
t3 9.) PME] 23, Vay eey 0s 连 炽 时 ， 取 任意 小 的 6 及 e, 除了 
HE ô RREA, TETERE m，za，…， ww 对 于 充分 大 的 n, 
总 有 
Jg leune): ee, f (24.5) 
DEECTSAFORAS JEGIUIIS (GE, 8 BLUT HBA SEE, 
Wit f) Wut x (a SERIMEREEMCTHETIEDEOBI, FbRbULAT 
信和 号 和 接收 信号 的 频带 莉 限 定 为 W dk, 时 间 息 为 T, AEA SE 
2TW 个 样本 点 所 规定 ， Jt SHE EIS 2TW 条 构 潍 分 布 所 规定 。 
从 而 发 射 信号 的 入 计 性 质 , 窜 其 条 概 楷 密度 
Pn, m) =P (2) (24.0) 
Bie Cu Woo DURS c 表示 一 租 x1，…, m). NFEE 
的 性 质 , HT EH M E SERRE 24 D M EHE MAREK ERR 
VH zi, Bay …* ms 时 , CAI ERR AERE EE Dm T de 
端 收 到 振幅 什 Vi, Yas o Yn 的 条 件 概论 密度 : 


. Bus (Yir s Ya) — Pa . 04,7) 
JA SEREHRIES REI COE 5 EAE C FEE SIS HL RE, PT DUE YO 
R-Hís)-H,(s), , 04.8) 


其 中 H (2) ARASH, HL) ARRE, TRISEEREC, 
定义 为 一 切 可 能 的 信息 源 联接 于 信道 时 R 的 最 大 值 。 亦 即 当 入 
号 了 的 取 有 限 闪 近似 时 ,变化 PG) 使 下 式 达 到 最 大 : 


-fP (æ) log Padat || Pepy (wilogp,(@ddædy. (24.9) 
R P(w, y) A c y BIE Gto e PR 
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- P. y) 
py) 一 TE (24.10) 


E Pi) - [PG nds. 
再 利用 
由 es pangPmaza-|PejogPtnan， (24.11) 


于 是 通信 容量 可 写 为 


-n 1 "Mog sg 
e- Im max d, [IP glog PP dedy, (24.19) 


Au$ 6 ido, M H (o) 和 HH, Qo) 是 与 坐标 系 有 关 的 值 ,但 其 莹 性 的 
值 与 此 无 关 , 是 一 定 的 。 

^ ERA H (œ) 和 Hs (2) 时 , 对 数 取 任何 底 都 可 以 。 洪 取 2 为 
底 , 旭 与 信 散 的 情 疯 一 样 ,0 可 以 考虑 为 最 小 瞬 味 度 的 信道 中 每 秘 ， 
传 迁 的 二 进位 数 的 最 大 位 数 。 还 可 以 如 下 考虑 。 将 信号 的 空间 分 
制 成 充分 多 的 微小 区 间 ， 使 条 件 构 棕 密度 ps (9) 与 ”和 % 的 大 小 
无 关 , 在 各 微小 区 两 -F 实 质 上 相当 于 一 常量 。 从 而 在 连续 借 道 的 
情况 下 ,可 以 认为 在 徽 小 区 间 . 上 取 离 散 的 值 ,这 就 和 离散 信道 一 样 
了 ,于 是 这 种 情况 的 一 些 想法 ,本 质 上 都 适用 于 现在 的 情况 。 

由 于 接收 信号 的 振幅 向 发 射 代号 及 哄 普 的 振 嵩 唯一 地 决定 ， 

所 以 它们 的 概率 密度 之 间 , 存 在 相当 于 离散 便道 的 (17. 人 到 式 , 印 


fe (w) ps (y) dz — P' (y) . (24.18) 


825 县 有 相 加 性 噪音 的 如 各 信道 


现在 钨 述 实 际 上 非常 重要 的 速 缠 信 道 ， 在 这 个 从 道中 于 扰 通 
- 代 的 噪 普 与 信 叶 是 相 互 狐 立 的 ， 且 接收 信号 的 振幅 y 可 以 表示 为 
RIASAN r KURIR n LA, 印 所 认 相 加 的 情况 。 XU 
JOE B, 假定 不 瀹 是 信号 或 噪 鞠 , 各 个 样本 点 的 振幅 值 万 相 独 立 ， 
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是 名 样本 点 具有 相间 的 振幅 分 布 ,这 样 , 代替 多 内 概率 窗 度 ， 可 以 
只 六 处 一 秦 的 概率 密度 。 在 相 加 电 独 立 的 情况 下 , 条 件 概率 密度 
p.) 为 曲 划 的 大 小 ， 印 接收 信号 与 发 射 信号 的 瞬时 振幅 之 姜 
n=y -e WHR, ; 
pe) bie) - kin), (25.1) 
由 此 计算 散布 度 HL) , So JE n BUR D H (n) SER 
定理 25.1 发 信号 与 品 香 怕 相 独立 ， 且 接收 储 号 的 振幅 为 发 
射 信号 及 虽 半 的 振幅 之 和 , 则 这 个 过 转 信道 的 传 葵 速率 为 


. R=I1(y) f (n), (25.2) 
indue s PUES RR ZE. LERRA 
C-—max H(y) - H (n). ¿ (25.8) 
. ne) * 
诈 明 很 篇 单 ,因为 


- < 
31,0) = — || P (Epa Gron paar dy 
= - j| Pt miog k(n)dn dz 


-Ho). 
从 而 由 (6.8) 的 等 式 ,得 
R-Híz)-Hy(v)-H(y)—H(n). 

U) H PG) 是 独立 的 , E ARK, REE HG) 达到 极 大 值 。 但 PO) 
5 P'a) 之 间 有 (34.13) 的 关系 ， 由 此 式 变化 Ps) Sk P'Q), 86 2) 达到 
最 大 此 时 PG) 及 P'(g). 必 是 非 负 的 。 当 发 射 信号 集合 受到 某 些 条 件 限制 
时 ;也 可 把 这 个 限制 考虑 在 内 "使 及 达到 最 大 信 。 

PUOFÜOEIGESEBICHERNAPEIE, HERP EM DR 
ARR P ase bad f ALCOHOL, Ve ERO MATOS zl EO 


Í waP lo) do = P, (25.4) 
ERJAS Xp ny 
f mèk (n) dn» N, (25.5) 


100 WO RANER 
位 白 品 得 的 概 李 分 布 密 记 为 


kin) 一 exp(—2*/2N), (26.6) 


1 
VÊN 
TERIER SIAE, 18 (24.18) & y= +n, 得 


Jep wav [oo [ Pme a) ded 
-[f (2-0)? P (2) b (n) do dn. 
-| Pladet fetan 
+2 eP ædafnk (ndn, (25.7) 


h (25.6) 可知 (25.7) 最 后 一 项 为 零 ， 所 以 接收 信号 的 均 方 功 素 为 
PŁN., dBih 86559 (V) , 均 方 值 固 定时 , f ERA M De o 
AESA, HIDLBOR IRIS 3s PAN 的 接收 信号 有 和 白 噪 香 的 概 
率 分 布 时 ,最 大 炳 (每 秒 ) 为 

H (gy) =W log 2re(P+N). (25.8) 


HERRE ROS W dk. SC (0-17) SOR ZW. Ja TEER 
Balle Sid | ` 
H (n) =W log 2e, (25.9) 

HBOS SAL MEEHNE, H BRAR HERO EA 
的 ,此 事 并 不 困难 ,由 (24.18) 得 P' (y) XE pe (y) 都 是 正 态 分 布 ,可 
FE Pa) 亦 为 正 坊 分 布 。 印 发 射 信号 也 有 白 噪 普 就 够 了 。 从 而 
利用 定理 35.1 得 出 下 齐 精 果 。 

定理 中 .2 疏 发 射 信号 的 均 方 功率 为 P, 若 在 频带 宽 记 为 W 
BERI TR SU rb, Jr yon N D HER E, Miei 
ERRAK 
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OW og EP dh 秒 ) 。 (25.10 
1 


四 此 完 理 ,和 离散 信道 的 情 光 一 样 , 经 过 适当 竹 码 之 后 ， 可 以 
任意 小 的 错 训 概率 ,以 每 秒 W Tog, TTA 必 特 的 速率 优先 信息 。 
比 这 速率 还 大 , KERNA BETREN, WT EREE 
Sic, 要 求 发 射 信号 必须 有 白 噪 普 同样 的 概率 密度""9。 下 面 
讨论 一 个 接近 堆 想 吉本 的 通 供 系 统 。 由 白 品 莹 取出 ACIER ILI 
时 间 序 列 , 每 一 序列 的 时 间 长 庆 为 史 。 由 发 射 器 发 出 这 些 序列 时 ， 
因为 在 接收 关 M 种 样本 时 间 序列 是 已 知 的 ,与 实际 上 收 到 的 序列 
逐一 比较 ,时 间 了 内 两 序列 的 振幅 差 的 均 方 值 最 小 者 可 以 制 断 为 
实际 发 出 的 时 间 序 列 。 最 初 选 的 不 同 的 时 间 序 询 的 个 数 为 M, M 
与 接收 时 容许 的 接收 错误 的 概 深 值 有关， 只 要 由 白 噪 普选 择 序 
列 , 几 乎 一切 情况 下 都 有 


lim lim 68 M (6T). W log PIN, (an 


ia imn 
Bh o 任意 选择 ,但 只 要 充分 大 , DENA 种 不 同时 间 序 
Po EXRHOUECITIOS 2 EIE T PIP DASE TW x log EEA 


必 特 。 Rice IPEA TAA, 图 25.1 为 其 一 例 。 在 接 
收 错误 概 浴 w 为 0.5, 0.01, 0.00001 的 情况 下 , EREE R EH 
分 天 的 了 时 都 逐渐 接近 于 C. ii MEE BIS M 种 时 间 序列 ,因为 
其 中 必 含有 接收 玩 差 概率 大 者 ,所 以 不 能 讲 是 最 佳 的 情况 。 又 以 
接收 时 间 序 列 为 基准 时 ,寻找 振幅 差 的 均 方 值 最 小 的 操作 ,与 离散 
情况 的 距离 刊 定 法 (8 18) 同样 很 麻烦 。 就 是 说 当 了 增 大 时 , CRY 
的 时 间 序 烈 的 个 数 是 依照 指数 西数 卉 大 , 这 是 很 不 实际 的 。 在 这 
意义 下 ,与 $ 16 的 关于 离散 信道 的 通信 和 容量 的 定理 一 样 ,这 个 定 
理 也 是 一 个 存在 定理 。 


ETT ATE EREA 


0.00001 


* 
1 2 1P 2 oT oie ot 
一 一 CT( 必 特 ) 
图 中 .1 NW/ 了 =0.1 情况 下 , 错 江 接收 概率 P 固定 时 ， 储 号 的 时 凋 
HET ROC f nob R RRETARA C IHRE . 


对 这 个 定理 ， 也 找到 了 与 妈 上 的 概率 观点 不 辐 的 解释 。 但 
是 没有 做 至 象 Feinstein 那样 严密 的 程度 。 

定理 25.2 JE GEAR IFTE EE MEL XIF EE ER C 
BERNAR SUA E, KAENA S 限于 篇 
[IDE TE 

定理 25.3 PHASER REAR, HBOR SHEET 
可 以 用 发 射 代号 及 噪 普 的 振幅 表示 ,其 均 方 功率 为 P, 则 频带 宽度 
为 W 赫 的 巡 秆 信道 的 通俗 容量 可 由 下 式 表 示 : 

* e-aw[- noo - lg2xe(P--N) M/E, (25.12) 

JE SR H (m) PE HEX AP ERRE II, n Du RC a 28 H9 di 
frk (ndn, N JEA no btt t ho fim) ?k(n)do, 
AUGE AI I TIAS IB Ee ep 9 I rd e HE RICE IH 


! (a lc (uno? » 
PG -TPIN exp( PUES ) G3) 


表示 。 但 这 个 P' (9) 对 应 的 发 射 借 号 的 概率 密度 P (a) 由 
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[Pia mb tani (26.14) 


可 以 求 得 ,在 之 的 整个 区 间 上 是 韭 负 的 。 
由 此 和 定型 ,可 以 证 明 以 前 的 定理 20.2 为 一 个 特殊 的 情况 。 
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供 息 论 是 最 近 十 多 年 来 才 形 戊 和 发 展 的 一 站 新 学 科 ， 它 在 数 
学 儒 域 内 与 概率 葵 有 密切 的 关系 ,在 共 他 科学 和 技术 俩 域内 ,又 是 
新 兴 的 重要 学 科 。 

信息 是 事 畅 胡 现 的 一 种 普 副 形式 , RA 5—4, 
个 电话 无线电 定位 .导弹 制导 、 电子 计算机 的 运算 ,其 至 于 生命 现 
象 中 的 坡 觉 过 程 、 讲 传 过 程 等 等 ， 都 有 信息 ， 都 是 信 息 传递 的 过 
程 中 外 名 ,信息 论 就 是 在 信息 是 可 以 测度 的 车 硕 上 研究 最 有 效 最 可 
di RETE LESS, T RADI HG RR D RM RC A rd 
数学 问题 ， 亦 因为 最 有 效 最 可 和 集 的 要 求 是 许多 学 科 中 普通 成 兴趣 
的 问题 , 所 以近 年来, 信息 论 引 起 了 许多 数学 家 和 其 他 科学 家 、 工 
程 师 们 的 注意 ,信息论 的 概念 和 竺 果 亦 广泛 地 应 用 到 通信 中 3、 
电 现 , 雷 达 " 四 、 导航、 制导 .数据 处 理 : 可 党 的 电子 计算 机 运算 . 光 
学 由 oo、 生物 学 5 、 必 理学 ca、 请 昔 学 等 等 侦 域 中 去 。 ， 

网 略 与 信息 给 专 家 喜 安 善 市 和 信息 险 专 家 室 贺 三 郎 两 人 合 写 
的 这 本 书 就 是 介 帮 信息 给 中 最 基本 的 由 Shannon 所 偶 基 的 信息 


传递 理论 。 虽 然 本 书写 得 很 简短 、 扼 要 ,然而 仍 能 使 我 们 对 基本 的 


问题 获得 一 般 的 了 解 。 

这 本 书 是 1957 年 以 前 号 的 ,从 1957 年 以 来 ,信息 验 又 有 了 许 
多 新 的 进 属 "”。 Shannon 本 人 对 他 原来 的 随机 乔 码 粹 出 了 更 脱 
如 更 精确 的 业 果 "”, 其 后 发 表 了 对 于 连 禹 代 道 的 研究 业 果 中。 类 
Shannon 供 息 论 以 严格 数学 基础 的 Feinstoin, 于 1958 年 写成 了 
PRT, HUBER, 苏联 数学 家 Koaworopon'inU9, Xantia 
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等 人 在 Shannon 理 洽 上 有 着 深远 的 工作 ,苏联 学 者 将 Shannon 
此 本 问题 提 得 更 有 采 移 ,对 基本 栓 念 作出 更 严格 的 辕 构 。 捷克 数 
学 家 Nedoma'?!, Perez", Winkelbauer?" 等 研究 了 信息 传递 
更 一 般 的 模型 ， 着 以 纺 逢 特 决 理论 观点 提出 和 处 现 了 信息 传递 问 
题 。 最 近 ，Ao6pyamr 介绍 了 苏联 在 信息 论 方 面 的 成 就 和 指出 
了 许多 未 解决 的 问题 ,这 篇 文章 是 值 得 一 该 的 。 

为 了 最 有 效 和 最 可 千 地 传递 信息 ， 半 码 和 训 码 是 极端 重要 的 
Fi SOAD ROME, AARRE, SDHUISEBE, AT Hf 5. 
Shannon 的 基本 定理 只 是 一 个 有 效 粮 码 的 存在 定理 , WERE 
速率 小 于 通信 容量 时 , 鲁 误 概率 随 码 长 N 的 增加 可 以 朗 碾 任意 小 。 
这 个 证 奶 不 是 精 构 性 的 ， 由 于 N 很 大 , 不 能 用 于 实际 来 构成 一 个 
实用 的 篇 码 。 所 以 , 象 Fano WE Huffman ERARA 
效 的 业 颂 方法 还 值得 继 千 进行 研究 5 。 

自从 1950 年 Hamming 和 1956 年 Slopian 等 人 的 工作 发 天 
以 后 ,国外 对 抗 干 扰 厦 码 研 究 得 很 多 。 实 际 应 用 时 ,还 要 者 卡 实现 
上 的 方便 和 信道 中 各 个 码 发 生 的 错 驶 不 一 定 是 独 交 的 等 情况 。 近 
年 来 ，Green 和 San, Boucie'?! 研究 了 一 种 容易 实现 的 利 正 多 个 
SERRAS dh, Oalabi 和 Haofeli?™, Abramson 以 及 
Hagelbarger? 2$ AERE T HEHE HER HERRIRA, NIE. 
长 度 较 大 的 码 ，1954 年 Roed?? 全 发 表 过 Reed-Muller 码 , 1958 
年 Perry? 实现 了 长 度 为 128 位 的 Reed-Muller 码 ,信息 位 置 64 
位 ， 监 督 位 置 64 位 , 能 利 正 7 个 及 7 个 以 下 的 错 认 。 其 后 Bose 
和 OhauGhuritsa 发 现 了 比 Reed-Muller 码 更 有 效 的 码 。 TEKIS 
方面 , 代数 学 理论 用 得 很 多 , 这 方面 可 参考 最 近 Peterson'? 的 一 
本 书 。 在 实用 上 ,序列 纳 码 5 尔 值得 注意 。 

1957 年 以 后 在 实际 应 用 中 又 提出 参数 随时 间作 黎民 变化 的 
仙道 ,或 在 传输 过 程 中, 参数 虽然 不 变 , 代 不 知道 它 的 准确 值 只 知 
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以 修改 Shannon 的 通信 有 系统 模型 , 使 更 适合 于 实际 情 观 , 也 是 极 
有 意义 的 工作 。 

本 书 的 第 一 章 序 论 内 ,作者 提 到 了 Wiener 的 工作 ,但 在 正文 
内 ,一 点 也 没有 介绍 Wiener 的 过 炙 与 预测 理论 。 目 前 ,有 许多 人 
把 Wiener 理论 也 列 入 为 信息 洽 , 称 之 为 Wiener fa EB, 我们 
认为 Wiener 理论 在 工程 实践 上 非常 重要 , V SEPA UK E 
A 
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以 在 [391 [40] 内 找到 更 多 的 参考 文献 。 
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